설문조사의 신뢰도부터 논리 전개, 정책의 현실성까지…, 믿을 만한 것을 찾기가 더 힘들었다. 국방부의 '민군 협업을 통한 게임형 Train-ment(가칭) 개발방안 연구' 보고서를 읽고 느낀 점이다.
보고서는 국방부가 검토 중인 '국방 FPS' 개발 프로젝트의 타당성을 검증하고 개발 방향을 잡기 위한 자료다. 연구비로만 3,264만 원이 들었고, 5개월의 연구 기간을 거쳤다. 국방부에 제출된 보고서는 담당자들로부터 100점 만점에 90.75점을 받으며 '완성도가 높고 향후 정책 활용도 또한 높을 것'이라고 평가됐다.
하지만 디스이즈게임이 국회 정의당 김종대 의원실이 제공한 보고서를 입수, 분석한 결과 국방부의 고평가와 달리 보고서 곳곳에서 미심쩍은 부분이 다수 발견됐다. 국방부의 '민군 협업을 통한 게임형 Train-ment(가칭) 개발방안 연구' 보고서를 읽고 발견한 주요 문제점을 정리했다. / 디스이즈게임 김승현 기자 (※ 자료제공: 정의당 김종대 국회의원실)
※ 관련기사
① 9명으로 AA 수준 FPS를 만들어라? ‘국방 FPS’ 프로젝트의 실체
② 이게 3,200만 원짜리라고? ‘국방 FPS’ 연구 보고서 분석 (현재기사)
※ 취재원 보호에 대한 문제가 해결되어 취재를 보강해 기사를 다시 송고합니다. 혼란을 드려 죄송합니다.
# 그러니까 '왜'? 근본 물음이 없는 연구 보고서
국방 FPS는 게임을 통해 입대 불안·기피 현상을 해소하기 위해 시작된 프로젝트다. 하지만 정작 국방 FPS의 타당성을 검증하기 위한 보고서에는 프로젝트의 시작이라고 할 수 있는 '입대 불안의 원인'에 대한 납득할만한 연구가 없었다. 원인이 명확하지 않으니, 해결책이 무슨 이유에서 나왔는지도 명확히 알 수 없었다.
입대 대상자들이 군대를 꺼리는 이유는 여럿이다. 누군가는 부대원 간의 가혹 행위 때문에, 누군가는 군대 자체가 가진 억압적인 분위기 때문에, 누군가는 군대에 갇혀 보내는 1년 넘는 시간이 싫어 입대를 꺼려한다. 이것 말고도 입대를 꺼려하는 이유는 다양하다.
하지만 보고서는 이 수많은 원인 중 어떤 것이, 어떤 이유로 가장 많이 입대 기피 현상을 불러 일으키는지 조사하지 않았다. 보고서는 서론에 "복무에 대한 막연한 두려움 및 복무 생활 동안의 시간적 지루함 때문에 병역 기피 현상이 만연해 있다"라고 설명했지만, 이것이 어떤 과정을 통해 도출된 결론인지는 따로 언급하지 않는다.
'무엇 때문에' 막연한 두려움과 시간적 지루함이 있는지, 이를 해결하기 위해 '왜' FPS 게임이 필요한지에 대한 연구도 부족했다. 먼저 보고서에는 막연한 두려움, 시간적 지루함의 원인을 찾는 과정 자체를 찾아볼 수 없었다.
원인을 찾지 않았으니, 이를 해결하기 위해 '왜' FPS 게임이 필요한지에 대해서도 명확한 설명이 없었다. 보고서는 그저 미국의 홍보용 FPS <아메리카스 아미>(이하 AA)의 성과를 언급하며, 홍보용 FPS를 만들어 입대 기피 현상을 해결할 수 있다고 말한다. 이 결론에는 한국과 미국의 군 이미지 차이, 모병 환경 차이 등에 대한 고찰은 없었다.
그나마 근거라고 할만한 유일한 연구가 입대 예정자들을 대상으로 한 설문조사다. 하지만 이것도 신뢰도와 조사방법 두 측면에서 납득하기 힘든 연구였다.
자료를 제공한 정의당 김종대 의원도 보고서가 창조국방을 핑계로 책임을 입대 장병에게 온전히 뒤집어씌우고 있다고 비판했다. 군 입대 기피의 원인은 정보 부족이 아닌 '국방부의 졸속 행정, 인권유린이 만연한 후진적 병영문화'라고 원인을 분명히 파악할 것을 당부했다.
# 납득하기 힘든 설문 규모, 더 납득하기 힘든 설문 구성
연구진은 2016년, 광운대학교에 재학 중인 입대 예정자 50명을 대상으로 국방 FPS 타당성 조사를 위한 설문조사를 실시했다. 하지만 이는 조사 규모로 보나, 그리고 설문지 구성으로 보나 납득하기 힘든 조사였다.
설문조사를 할 때 가장 중요한 것이 '설문 대상자의 규모'와 '질문 구성'이다. 설문 대상자의 규모는 조사 자체의 정확도를 높여준다. 설문조사는 조사하려는 대상 전체 중 일부만 추려 답을 들은 후, 이를 바탕으로 전체의 경향을 추정하는 작업이다. 때문에 조사 대상이 많을수록 설문 결과의 정확도 또한 높아진다.
일반적으로 모집단이 100만 명 이상일 경우, 신뢰도 95% - 오차범위 5%를 확보하기 위해선 약 400명의 표본이 필요하다. 지난해 발행된 병무청 통계연보에 따르면, 2015년 기준 입영 예비자의 수는 약 141만 1,000명이었다. 50명으로 141만 1,000명의 경향을 추정할 경우, 그 값은 '신뢰도 85% - 오차범위 10%', 혹은 '신뢰도 90% - 오차범위 11%'라는 정확도를 가진다.
설문조사가 신뢰도 90% 미만, 오차범위 10% 이상을 금기시하는 것을 감안하면, (연구진이 속한 광운대 학생만 대상으로 한 것은 차치하더라도) 설문 자체의 정확도가 크게 떨어지는 셈이다.
더더욱 납득하기 힘든 것은 질문 구성이다. 질문 구성은 설문 자체의 '논리'를 보여준다. 설문 규모가 조준한 것을 얼마나 정확히 맞추냐를 좌우한다면, 질문지 구성은 애초에 조준 자체를 잘 했는지를 보여주는 셈이다. 하지만 '민군 협업을 통한 게임형 Train-ment(가칭) 개발방안 연구'의 설문은 처음부터 엉뚱한 곳을 조준하고 있었다.
연구진이 설문 대상자에게 물어본 것은 '입대 기피 이유'가 아니라, '훈련소에서 어떤 훈련을 받는지 아느냐'였다. 질문지는 이후 연이어 ▲ 훈련 정보를 미리 알면 도움될 것 같느냐, ▲ 게임으로 그 정보를 습득할 수 있으면 플레이 하겠냐, ▲ 게임 참여를 높이기 위해 입대 후 혜택을 준다면 하겠냐 등을 물었다. 훈련 정보 외에 다른 주제에 대한 질문, 게임 외에 다른 방식으로 정보를 학습시키는 것에 대한 내용은 없었다.
사실상 처음부터 입대 불안•기피의 원인을 '군에 대한 정보 부족'으로, 그것을 해결할 방법으로 'FPS 게임'으로 못박고 설문을 한 셈이다.
# 분석이 아니라, '감상과 나열'
국방 FPS 개발의 기반이 될 '동종 장르 게임 분석'도 게임에 대한 낮은 이해도, 그리고 실제 필요와는 다른 분석 때문에 보고서의 신뢰도를 떨어뜨렸다.
보고서는 <서든어택> 등 국내에 정식 출시된 FPS 4개, <AA> 등 해외 FPS 2개를 분석해 국방 FPS의 개발 방향을 잡으려 했다. 하지만 보고서에는 국방 FPS에서 어떤 가치가 중요하고, 이를 구현하기 위해 어떤 것을 벤치마킹 해야 할지에 대한 명확한 기준 자체가 없었다. 보고서는 국내 서비스 FPS 4개와 해외 FPS 2개를 각기 '다른 기준'으로 분석해 (실제 적합성과 별개로) 공정성에 대한 논란을 야기시켰다.
특히 앞의 4개 게임의 경우, 분석 항목도 주관적인 기준이 많고, 분석 결과 또한 작성자의 주관이 개입되고 일부는 논리조차 어색한 등 곳곳에서 문제점을 드러냈다. 예를 들어 타격감에 대한 분석은 이런 식이다.
그나마 롤모델로 삼은 국외 FPS 2개는 콘텐츠 중심으로 분석해 적어도 내용 자체에 대한 신뢰도 이슈는 적었다. 하지만 이와 별개로, 이 분석이 국방 FPS에 실질적으로 어떤 도움이 될지는 미지수였다. 콘텐츠에 대한 고찰이 없기 때문이다.
보고서는 <AA>와 <아르마 3>를 게임에 어떤 기능과 콘텐츠가 있는지 분류하고 나열하는 식으로 조사했다. 이 과정에서 이 콘텐츠들이 유저들에게 '어떻게', '어떤' 영향을 끼쳤는지에 대한 고민은 없었다. '어떻게'가 없으니 이것이 한국에서 그대로 적용될 수 있는지에 대한 고민도 없었다.
보고서는 이런 상태에서 어떤 게임의 어떤 콘텐츠가 국방 FPS에 적용되어야 하는지 결론 내렸다. 간단히 요약하면 '<AA>에 <아르마 3>의 시나리오 생성 기능을 더해라'라는 내용이었다. 이 안에서 '한국 상황'에 대한 고민은 '고퀄리티 AI로 상용 FPS와 차별화한다' 밖에 없었다.
다른 FPS 콘텐츠에 대한 심도 있는 분석도, 한국이라는 환경에 대한 고민도 없는 셈이다.
# 국방 FPS, 이 조건에 만들려는 사람이 있을까?
보고서가 산정한 국방 FPS 개발에 필요한 자원도 한국의 개발 현실과 동떨어져 있었다.
국방 FPS는 PC와 모바일에서 함께 플레이할 수 있는 FPS로, <AA>의 틀에 <아르마 3>같은 다양한 시나리오와 모드 기능, 그리고 사람의 행동을 학습할 수 있는 AI를 특징으로 한다. 보고서는 이런 게임을 만들기 위해 ▲ 개발자 9명, ▲ 개발 기간 2년, ▲ 개발비 58억 4,148만 원이 필요하다고 산정했다. 산정 근거는 게임 개발 경험자의 자문, 그리고 한국소프트웨어 산업협회가 발간한 '소프트웨어 사업대가 산정가이드'였다.
그렇다면 이에 대해 한국 게임시장에서 여전히 FPS 게임을 만들고 서비스하는 이들은 이를 어떻게 생각할까? 디스이즈게임은 보고서가 제시한 기획안과 필요 자원을 국내 주요 FPS 개발사•퍼블리셔에게 보여주고 의견을 들었다.
결론부터 말하면, 한국의 주요 FPS 개발사·퍼블리셔들은 이에 대해 하나같이 '말도 안 되는 기획'이라고 입을 모았다. 이들이 가장 많이 지적한 부분은 개발비와 시간 그 자체였다.
디스이즈게임이 문의한 게임사들 모두, 국방 FPS와 같은 게임을 만들기 위해선 최소 20명 이상의 인력이 필요하다고 강조했다. 이렇게 인원을 갖추고도 개발 기간이 3년 이상 걸린다는 곳이 대부분이었다. 그나마 보고서에 쓰인 것이 가능성 있다고 답한 곳도 <AA> 개발자 중심으로 팀을 짜, <AA> 리소스를 재구성하거나 <AA> 틀 위에 콘텐츠를 얹는 방식으로 개발해야만 가능하다고 할 정도였다.
개발자가 2배 이상, 개발 기간도 1.5배 이상 필요하니 필요한 인건비도 몇 배로 뛴다. 여기에 추가로 국방 FPS가 요구하는 PC/모바일 연동이 되려면 사실상 게임을 하나 더 만드는 수준의 인력과 자원이 필요하다. 애초에 보고서가 산정한 개발 자원은 실제로 국방 FPS를 개발하기 위해 필요한 자원의 반도 채 되지 않았던 셈이다.
보고서가 권하는 투자/수익 모델에 대해서도 현실성 없다는 지적이 많았다. 보고서는 국방 FPS 개발 시, 개발사가 개발비 전액을 부담한 후, 이후 국방부가 콘텐츠 이용료 명목으로 5년 간 개발비의 50%를 보전해 주는 방식을 권했다. 나머지 50%와 게임 운영•업데이트 비용, 수익 등은 개발사가 운영을 통해 거두는 방식이다. 단, 게임의 공익적인 성격 상, 개발사는 아이템 구매 같은 비즈니스 모델을 사용할 수 없다.
이에 대해 한국의 FPS 게임사들은 하나같이 '이런 모델로는 국방 FPS 사업에 참여하려는 개발사가 없을 것'이라고 단언했다. 기본적으로 국방 FPS 자체가 성격 상 수익 모델의 제약이 많은데다가, 교육 요소 때문에 '재미'라는 측면에선 다른 FPS에 비해 불리하기 때문이다. 인기를 끌긴 힘든데, 돈을 벌 수단은 더 적다.
디스이즈게임이 문의한 게임사 대부분은 이 부분을 지적하며, 프로젝트 전반적인 개선이 없이는 실현될 가능성이 적다고 경고했다.
김종대 의원도 마찬가지 의견이었다. 총체적 졸속으로 제시된 비용, 현실적 일정이 고려되지 않은 비정상적인 보고서이며 업체에게 부당한 손해를 감수하고 강제로 개발을 강요하려는 '어용 예술'이라고 밝혔다.
그렇다면 보고서가 산정한 자원으로 국방 FPS를 만든다면 어떤 방식으로 진행해야 될까? 게임사들이 공통적으로 이야기한 것은 '게임의 볼륨을 줄이고, 방향성을 명확히 하는 것'이다.
현재 국방 FPS 기획안은 교육과 재미, PC와 모바일, FPS와 모딩툴 등 각각 별개의 영역을 차지할 수 있는 요소가 한 곳에 모여 있다. 설상가상으로 보고서는 이런 다종다양한 요소를 어느 하나를 완성하기도 버거운 시간과 자원으로 모두 완성하려 한다.
FPS 게임사들은 이점을 지적하며 재미면 재미, 교육이면 교육 식으로 하나의 요소에만 집중해야만 개발 현실성이 생긴다고 조언했다.
