확률 검토 단계부터 재발 방지 대책까지 모두 설명한 민경훈 디렉터 '앞으로의 행보 기대'

[게임플] 넥슨의 대표 온라인 게임 '마비노기'가 지난 고객 간담회에서의 약속을 지키기 위해 세공 도구 상세 정보 및 재발 방지 대책을 공개했다.

마비노기 민경훈 총괄 디렉터는 "확률 공개까지 많은 시간이 걸렸는데 오랜 시간 기다리시게 하여 죄송하다"며 "간담회에서 언급됐던 부분들을 포함해 데이터와 세공도구 로직에 대해 면밀하게 검토하는 과정에서 미처 파악하지 못한 사항이 발견됐다"고 안내를 시작했다.

민 디렉터는 재발 방지를 위한 방안, 개선 내용을 비롯한 확률 공개를 위해 어떠한 검증 작업을 진행했는지 자세하게 설명했다.

먼저 마비노기 개발팀은 옵션 세트 비교 툴, 결과 덤프, 로그 확률 검증, 코드 전수 조사 등 다양한 방법을 활용해 세공 도구의 동작 로직과 데이터에 문제가 없는지 면밀하게 확인했다.  

옵션 비교 툴은 기존 세공 도구의 업데이트 및 관리는 작업 담당자에 한해 진행되어 방대한 양의 데이터를 명확하게 확인하고 관리하는데 한계가 있어 현 데이터 검수를 시작으로 면밀한 관리 및 데이터 추가가 이루어질 수 있도록 도와주는 툴을 말한다.

민 디렉터는 "툴을 통해 기준이 되는 옵션 세트를 설정하고 해당 옵션 세트와 대상이 되는 옵션 세트의 리스트와 가중치를 대조하여 문제가 없는지 자동 검토할 수 있게 됐고 이러한 방식으로 옵션 리스트와 가중치에 문제가 없는지 여러 차례 반복해 검증할 수 있게 됐다"고 설명했다.

이를 통해 실제 서버 환경에서 동작하는 로직을 토대로 사용 덤프를 생성하고 생성된 덤프와 함께 실사용 테스트가 진행되는 방식으로 결과 덤프 처리 루트가 개선됐다.

결과를 나열하여 체크하는 방식이었던 기존 덤프와 반대로 결과 확률, 오차 범위, 이상 탐지 등의 메타 데이터들이 검수와 테스트에 조금 더 효과적으로 활용할 수 있게 된 것이다.

민 디렉터의 설명에 따르면 개선된 덤프 데이터는 각 옵션 세트별로 100만 회 이상의 덤프를 남기며 결과값과 호가률에 이상이 없는지 면밀하게 체크할 수 있다.

그는 과거 확률에 문제가 있는지 확인하기 위해 로그를 통한 검증도 잊지 않았다. 지난 20년 4월 19일부터 약 1년간 남겨진 로그를 모두 활용해 세공 도구의 결과와 실제 데이터가 이상이 없는지 검토했고 그 결과 설정된 데이터와의 실제 결과 확률은 오차 범위 내에서 서버 로직이 정상 동작하고 있다는 것을 확인할 수 있었다.

마지막으로 개발팀은 세공 도구의 서버 로직을 구성하는 코드엔 레거시한 형태의 코드들이 많고 이상 구문이 없는지, 제대로 동작하고 있는지 근본적인 확인이 필요하다고 판단했다.

이를 명확하게 검증하기 위해 개발팀은 전체적으로 코드 리뷰를 진행했고 서버 로직에 문제가 없음을 거듭 확인했다.

이렇게 세밀한 검토 결과, 결론부터 말하면 세공 도구가 오랜 기간 동안 서비스되면서 방대한 양의 데이터와 다양한 기록이 누적됐고 그 과정에서 불명확하게 기록되거나 작업 간의 실수로 옵션 세트가 현재 상황과 부합되지 못한 부분 등이 나타났다.

그 중 일부는 기획 당시 마비노기 밸런싱을 고려한 내용으로 확인했으나, 현재 마비노기 상황과는 맞지 않아 발생한 부분도 다수 발견되어 이를 최우선적으로 현재 상황에 맞게 반영하고 개선하기 위해 노력했다고 전했다.

현재 상황과 부합되지 않은 일부 옵션 세트부터 살펴보면 최초 옵션 세트에 설정한 옵션 리스트들은 오래 전 설정 당시의 기획 의도 및 기준에 따라 책정됐고 마비노기의 현재 상황과 부합되지 않는 내용이 많았다.

재능이나 스킬, 혹은 장비가 업데이트될 때 이러한 기준을 확인하지 못한 채, 비슷한 옵션 세트를 그대로 새로운 옵션 세트에 설정하는 경우가 빈번했던 것이다.

이로 인해 현실과 동떨어진 오래된 기준들이 유지된 채, 세공 도구와 장비/종족별로 조금씩 다른 리스트가 지속해서 누적됐다.

옵션 중복 부여는 세공 도구가 최초 투입될 당시 향후 추가할 한계 돌파나 밸런싱 등의 이유로 동일한 옵션을 일부 중복하여 설정한 것을 말한다.

개발팀은 "현재로선 의미가 부족한 설정이고 마찬가지로 이러한 설정에 대한 안내가 명확하지 못했다"며 잘못을 인정했고 "한계 돌파 개념이 적용된 옵션 외엔 효과가 중첩되는 옵션만 두 줄 이상 적용되도록 개선했다"고 전했다.

세부 기준이 불분명한 공통 옵션 세트는 생활 스킬에서 사용되는 도구들이나 특수 장비들의 경우 용도가 분리되어 있더라도 세공 도구에서 설정되는 재능 계열의 공통 옵션 세트를 사용하는 경우가 일부 존재했기 때문이다.

이를 보다 명확하게 확인할 수 있도록 해당 장비들에도 사용처에 알맞는 전용 옵션 세트를 새로 제작해 부여했다.

사실 이렇게 내부 검토와 보완책을 언급하는 것은 당연한 절차일 뿐 크게 중요하지 않다. 무엇보다 이러한 문제가 다시 나타나 이용자들이 불편을 겪는 상황이 발생하지 않게 방지하는 것이 중요하다.

민 디렉터는 "오랜 기간 누적된 방대한 데이터들을 체계적으로 관리하지 못했던 부분에 가장 큰 원인이 있다고 생각한다"며 "신규 툴과 보완된 덤프를 적극적으로 활용하여 제작 및 검수 프로세스에 반영해 추후 재능, 스킬, 신규 장비 추가 관련 오류를 수정할 때 더욱더 면밀하게 접근하겠다"고 강조했다.

민 디렉터가 반드시 준수하겠다고 말한 5가지 원칙은 '장비별 기준 옵션 세트와 툴을 활용한 설정 비교 분석 및 오류 사전 차단', '데이터 작업 후 덤프를 통한 정합성 추가 확인', '검수 과정을 추가한 강화된 테스트 프로세스 수행', '변경점 공지를 통해 수정된 내용을 투명하고 명확하게 안내', '공개된 유료 세공 도구 확률 표에 변경된 내용 반영'으로 구성됐다.

재발 방지를 약속하면서 2020년 4월 19일~2021년 3월 25일까지 보관 중인 로그 기반 세공 도구의 결과들도 공개했다.

또한, 지난 넥슨 이정헌 대표가 언급했던 실시간 세공 도구 확률 모니터링 시스템을 빠르게 도입할 전망이다. 해당 시스템은 세공 도구의 옵션 결과 값에 대한 통계를 실시간으로 확인하실 수 있는 기능이다.

현재 구현 준비 중인 해당 시스템이 도입되면 이용자들은 공개된 확률이 실제 서버에서 동일하게 작동하고 있는지 직접 확인할 수 있어 최대한 빠른 시일 내에 완료할 수 있도록 작업에 박차를 가하는 상황이다.

이번 사태로 인한 보상도 놓치지 않았다. 마비노기 운영팀은 세공 도구 관련 보상, 전체 보상으로 구분해 이용자들의 불편을 최대한 덜어줄 수 있는 구성을 준비했다.

세공 도구 관련 보상으로는 현재 확인할 수 있는 최대 로그 범위인 2020년 4월 19일부터 21년 3월 25일 정기 점검 전까지 이용자들이 사용했던 세공 도구 개수의 3배를 지급한다.

전체 보상으로는 '흩날리는 깃털 날개', '산뜻한 리본 머리장식', '신비로운 보랏빛 가방(10x17) 교환권' 등 다양한 아이템이 담겨 있었으며, 금일(25일)부터 4월 21일까지 선물 상자를 받는다면 구성품 내 아이템은 별도의 유효기간이 없어 언제든지 사용 가능하다.

공지를 마치며 민 디렉터는 "이번에 공개한 내용들에 부족한 부분이 있다면 공식 홈페이지 고객센터를 통해 언제든지 의견을 전해주면 적극적으로 검토하겠다"고 전했다.

사실 다양한 변화와 개선책을 언급했지만, 앞서 언급했듯이 무엇보다 공지 전달 이후 확률형 아이템과 운영에서 절대 이슈가 발생하지 않도록 예방하는 것이다.

이용자들이 요구한 개선안은 아직 수두룩 남아있으며, 마비노기가 이용자들의 신뢰도를 다시금 정상화되기 위해 걸어가야 할 길은 여전히 멀고도 험난하다.

하지만 이를 계기로 넥슨과 마비노기가 만족도를 높은 서비스를 보여주고 다시금 신뢰도를 쌓는다면 더욱더 발전할 수 있을 거라 생각한다.

과거에는 게임사가 이용자들의 목소리에 귀를 기울이지않았다면 이번에는 반대로 게임사의 목소리를 이용자들이 듣지 않게 된 상황이라 볼 수 있는데, 한 걸음씩 앞으로 나아가기 위해 노력하는 마비노기의 마음이 이용자들에게 닿아 함께 손을 잡고 나아가는 날이 올 수 있길 기대해본다.

저작권자 © 게임플 무단전재 및 재배포 금지