[게임플] 신작 게임, 그리고 업데이트에서는 항상 결함이 발견된다. 분명 게임사들도 열정적으로, 그리고 수십 번의 테스트를 걸치건만 어째서 항상 문제점은 발생하는 것일까?

오늘(26일) 경기도 성남시 판교 소재의 넥슨 사옥에서 진행된 넥슨 개발자 컨퍼런스(NDC 2019)에서 넥슨 네트웍스의 서정린 QA 1본부장은 ‘열정적인 테스트가 우리 게임의 서비스 품질을 향상시키지 못하는 이유’를 주제로 강연대에 올랐다. 그는 “테스트 리소스를 늘린다고 해서 서비스 품질은 나아지지 않는다”며, “어떠한 방향성을 가지고 임하느냐가 중요하다”라고 말했다.

서 본부장은 품질 관리의 대가인 에드워드 데밍의 ‘데밍의 붉은 구슬’ 이론을 예로 들었다. 산출물로 비유되는 ‘그릇’에 담긴 구슬을 퍼내는 ‘숟가락(테스트 방법)’으로는 어떠한 방향으로 구슬을 퍼내더라도 ‘붉은 구슬(결함)’이 함께 나온다는 것이다.

즉, 테스트 행위 자체로 결함을 줄일 수는 없다는 것이 그의 설명. 서 본부장은 “테스트는 이미 존재하는 결함을 확인하는 절차일 뿐이다”라며, “결함의 숫자는 제작 단계에서 이미 결정된다”라고 말했다.

예컨대 제작 단계에서의 설계, 그리고 개발자와 QA 담당자의 협업을 통해 사전 단계에서 이러한 결함을 최대한 줄여야 한다는 것이다. 서 본부장은 이를 ‘사전 결함 발견’이라 표현했다.

실제로 애당초 설계도에서 수정을 한 것과 코드를 모두 짠 상태에서 수정을 하는 것은 큰 차이가 있다. 그렇기에 제품(게임, 업데이트)의 출시 이전에 통합 테스트를 통한 결함을 먼저 발견을 하면서 개발 작업을 진행해야 적은 리소스 대비 높은 효율을 보일 수 있다는 것이다.

그는 “자주 일어나는 문제 유발 원인, 예상할 수 있는 문제 유발 원인을 미리 파악해 해당 항목의 허용 기준선을 정립하고, 그 기준에 맞는지를 단계별로 검수할 필요가 있다”라고 말했다. 즉 설계 단계에서 걸러내고, 프로그래밍 단계에서 걸러내는 식으로 결함의 숫자를 줄여 나가야 한다는 것이다.

그가 말하는 결함은 ‘실수’다. 실제로 보여준 통계에서는 결함의 원인 중 약 93%가 단순 실수 였으며, 잘못된 의사 소통에 의한 오해가 2.24%, 정해진 규칙 위반이 약 5%로 나타났다. 이에 대해 그는 “테스트 케이스를 수천 개 보는 것보다, 잔소리하는 엄마 역할을 하는 것이 더욱 효율적이다”라고 말했다.

하지만 일반적으로 개발 단계에서 함께 작업할 시간은 부족한 것이 현 프로세스다. 일각에서는 “개발자가 열정적으로 일하는 것인데 옆에서 사사건건 개입을 하면 더 효율이 떨어진다”라고도 말한다.

이런 개발 프로세스에 대해 그는 “잦은 리뷰와 회의, 피드백이 이후의 재 작업량을 현저히 줄여줄 수 있다”고 조언했다. 앞서 언급했듯 모두 완료된 작업을 다시금 되돌리는 것보다는 개발 설계 단계에서 이를 발견하고 수정하는 것이 훨씬 적은 리소스가 들어간다는 것이다.

또한 “열심히 하는 개발자를 기죽이려고 하는 것이 아니라, 명확한 통제를 통한 개발이 중요하고 여기서 QA, 테스터들과의 협업이 결함을 줄이는 방법”이라고 첨언했다.

추천 방법으로는 오답 노트와 같은 포스트모템 작성을 제시했다. 개발자와 QA가 서로 돌을 던지며 상처를 주는 행위가 아니라, 실수를 복기해 이후 개발 과정에서의 결함을 줄여야 한다는 것이다.

그는 “테스트는 마무리 활동이다”라며, “테스트보다는 명세 리뷰, 리스크 식별, 테스트 전략 수립 등의 결함 예방활동을 하는 것이 더욱 효율적이다”라고 말했다.