설문조사는 질문과 대답이 뻔할 수 밖에 없고, 게임에 대한 유저의 진짜 반응을 전부 알 수는 없다. 그래서 존재하는 것이 바로 UX 분석이다. UX란 사용자 경험(User Experience)의 약자로, 유저가 시스템이나 서비스를 사용하면서 인식하고 지각하는 경험들을 말한다.
UX 분석팀은 다양한 게임들을 여러 전문적인 방법으로 테스트하고 여기서 나오는 유저의 반응을 다양한 방법으로 분석한다. 이를 통해 게임을 만드는 개발자들은 게임을 하는 동안 발생하는 유저들의 자연스러운 속마음을 알 수 있는 것이다.
넥슨의 UX분석팀의 한이음 파트장과 이고은 분석가가 전해주는, UX 분석의 원리와 효과를 알아보자. / 디스이즈게임 황찬익 기자
넥슨UX분석팀 한이음 파트장, 이고은 분석가.
# 유저 마음은 UX 방법론으로! 그런데 UX가 뭐에요?
자, 당신이 게임을 만들었다. 이 게임을 유저들이 플레이했고, 당신은 그들이 게임에 어떤 인상을 받았는지 알고 싶어 설문조사로 의견을 물었다. 유저들에게 돌아오는 대답은 ‘재미있다’ 뿐. 과연, 이 반응은 유저의 속마음 그대로일까?
넥슨의 UX 분석팀의 한이음 파트장은 유저의 속마음이 마치 빙산과 같다고 말했다. 표면에 드러난 것과 (더 많이)드러나지 않은 것으로 나뉜다는 것이다. 그렇다면 드러나지 않은 빙산과 같은 유저의 속마음은 어떻게 알아낼 수 있을까? 바로 그런 궁금증을 해소하기 위해 UX 분석이 필요하다.
UX 분석에서는 수면 위 빙산처럼 드러난 유저의 마음을 ‘표면니즈’ 물 속 빙산처럼 드러나지 않은 마음은 ‘잠재니즈’라고 표현한다. 이를 파악하려면 다양한 UX 방법론을 통해 유저 관점에서 게임을 분석해야 한다. 그렇게 하면 유저들의 표면니즈와 잠재니즈를 분석할 수 있다.
드러난 유저의 반응은 '빙산의 일각'과 같다.
방법론이 다양한 이유는 유저들의 성향과 취향이 유저들의 수 만큼 다양하기 때문이다. 상황과 유저에 따라 다양한 방법론을 섞어가며 분석해야 좀 더 정확한 결과를 얻을 수 있다.
첫번째 방법은 가장 기본적이고 널리 알려진 ‘정량적 분석’(Surveys)이다. 각종 설문조사와 홈페이지 질문, 건의사항 등으로 업데이트 현황을 검증하고 유저들의 동향을 파악하며 불편사항을 수집한다.
두번째 방법은 FGT(Focus group test)로, 특정 유저 그룹을 모집하고 다함께 플레이를 진행하며 플레이 이후 설문을 통해서 컨텐츠를 검증하거나 게임성을 파악한다. 아직 출시되지 않은 게임의 경우 이 방법을 통해 타겟군을 파악하기도 하고, 대규모 업데이트 전에 미리 콘텐츠에 대한 의견을 받을 때도 좋다.
세번째 방법은 FGI(Focus group interview)다. 해당 게임에 경험이 풍부한 소규모 그룹을 구성해 인터뷰하는 방법으로, 깊이있는 인터뷰를 통해 유저들의 잠재된 속마음을 끌어낼 수 있다.
네번째 방법은 이른바 UT(Usability test shadowing)라고 불리는, 유저와 분석가 간의 1대1 의견 수렴 테스트다. 한 사람의 유저를 선정한 뒤, 분석가와 유저가 대화를 하면서 게임을 플레이하는 테스트이다. 게임의 사용성을 검증하고 유저가 어떤 부분에서 어려움을 느끼며 어떤 단계에서 이탈하는지를 파악할 수 있다.
또한 유저들의 행동분석을 통해 표면적인 반응뿐만 아니라 잠재적인 속마음도 파악할 수 있다. 마지막 방법은 바로 UX 로그분석이다. 여러가지 지표와 수치를 통해 데이터를 분석해서 유저들의 행동 패턴이나 동선을 알아낼 수 있다.
단순 설문조사가 아닌, 다양한 방법으로 유저 반응을 테스트한다.
이처럼 다양한 UX 방법론은 비단 게임업계뿐만 아니라 다른 곳에서도 널리 사용되고 있으며 각 분야에서 그 효과가 입증된 방법들이다.
넥슨UX분석팀은 이러한 방법론을 게임에 맞게 변형하여 게임을 분석하고 유저들을 파악하는데 사용했다. 발표자들은 이런 UX 분석을 게임에 실제로 적용한 사례를 들어 설명했다. 첫번째 사례는 지난 2016년 10월 출시된 <메이플스토리 M>이다.
# 유저들이 잘 따라와줄까? <메이플스토리 M>의 초반 퀘스트
지난 2016년 출시된 <메이플스토리 M>.
<메이플스토리 M> 제작진은 유저들이 초반의 게임 흐름을 잘 따라올 수 있을지 궁금해했다. 이를 조사하기 위해, 넥슨 UX 분석팀은 출시 몇 달 전, 모바일 RPG 유저 여섯명을 대상으로 1대1 UT를 진행했다. <메이플스토리 M> 개발자들이 예상한 바와 달리, 유저들 여섯명은 모두 의도된 게임의 흐름과 다른 플레이를 보였다.
기본으로 지급해주는 탈것과 펫 아이템의 경우 뒤늦게 발견하거나 아예 플레이 내내 발견하지 못하는 경우도 많았고, 또한 예상보다 빨리, 자주 사망하거나 초반 몬스터에 어려움을 겪는 모습을 보였다. 어떤 유저의 경우 초반에 당연히 만나야 하는 NPC를 만나지 못해 전혀 다른 지역에서 헤메는 모습을 보였다.
이런 과정을 통해 <메이플스토리 M> 개발자들은 실제로 유저들이 게임을 어떻게 받아들일지 더 잘 알게 되었고, 실제로 분석에서 밝혀진 문제점을 고치는 방식으로 개발을 수정하게 되었다.
유저 반응 분석을 토대로 한 전반적인 수정.
매끄럽지 않던 초반 퀘스트 흐름은 수정되었고 한번에 이동할 수 있는 자동이동 기능이 추가되었으며, 지급된 줄도 몰랐던 펫과 탈 것은 지급하자마자 자동 장착되는 방식으로 바뀌었다. 이외에도 UX 분석은 많은 수정사항을 찾아주었고 <메이플스토리 M>은 좀 더 유저친화적이고 다듬어진 모습으로 출시될 수 있었다.
# 대화의 흐름이 곧 전략! <테라>의 길드대전 콘텐츠
<테라>의 대규모 PVP, 길드대전 콘텐츠.
두번째 사례는 2011년 출시 이래 꾸준한 인기를 얻고 있는 MMORPG <테라>의 길드대전 콘텐츠 분석이었다. 길드대전은 작년 7월 테라에 도입된, 길드끼리 서로의 전초기지를 파괴하고 점령하는 길드 콘텐츠로 최대 1,000명까지 참여 가능한 대규모 콘텐츠였다.
길드대전 콘텐츠 업데이트를 몇 달 앞두고 <테라> 개발팀은 유저들이 어떤 전략으로 이를 공략할지 궁금했고, 넥슨UX분석팀은 <테라> 만렙 유저 40명을 선정해 FGT를 진행했다. 테라의 다양한 PVP를 경험한 유저들이 새로운 경쟁 콘텐츠 테스트에 적합하다고 판단했기 때문이다.
넥슨UX분석팀은 <테라> 유저 40명을 4개의 팀으로 나눠, 팀을 차례로 교차하며 2대2 길드대전을 플레이하도록 했다. 그 결과 유저들이 해당 콘텐츠에서 어떤 전술을 세우는지, 어떤 의식 과정을 통해서 해당 전술에 도달했는지를 분석할 수 있었다.
이는 단순히 전투의 과정과 이에 따른 결과만을 분석한 것이 아니라 길드원들간에 오고가는 대화까지 모두 참고했기 때문에 가능한 일이었다. 전투 후 측정된 데이터만으로는 막연히 짐작할 수 밖에 없었던 디테일한 과정들이 유저들의 대화를 통해 보다 분명하게 드러난 것이다.
같은 팀의 전초기지를 파괴한 B팀의 팀원. 상대방 승리에 결정적인 요인이 되었다.
이처럼 전투를 파악하는데 그치지 않고, 전투에 참여한 인원 전원에게 설문조사를 추가로 실시해 해당 전투에서 어떤 전략이 가장 유효했는지를 조사하고, 또 추가로 선별된 소수 인원에게는 다시 한번 소수 그룹 인터뷰, 즉 FGI를 실시해 다시 한 번 유저들의 의견을 물었다.
이에 따라 유저들로부터 추가 콘텐츠에 대한 다양한 피드백을 들을 수 있었다. 처음 <테라> 제작진이 궁금해하던 유저들의 예상 전략 분석은 물론, 유저들 관점의 플레이패턴을 확인하며 보다 심도있는 분석으로 거듭날 수 있었다.
이어서 차례를 넘겨받은 이고은 분석가가 세번째 사례, <마비노기 영웅전>의 신규 유저 이탈율에 대해서 강연했다.
# 튜토리얼 끝나고 게임을 접은 <마비노기 영웅전> 유저들
보통 UX 분석의 경우, 자신들의 게임에 의문을 느낀 제작자들이 의뢰하는 경우가 많다. 하지만 <마비노기 영웅전>의 경우는 달랐다. 넥슨 UX 분석팀 쪽에서 먼저 의뢰한 것이다.
UX분석팀은 <마비노기 영웅전>의 초반 유저 이탈율을 보고 의아함을 느꼈다. 초반 이벤트와 튜토리얼을 마치고 본격적으로 게임을 시작해야 할 초보 유저들이 튜토리얼이 끝나고 5분에서 10분 사이에 게임을 떠나는 현상이 발생한 것이다. UX분석팀은 이런 현상에 어떤 이유가 있을 거라고 생각하고, UT를 통한 1대1 면담으로 어떤 문제점이 있는지 알아보기로 했다.
그 결과, 유저들이 어떤 부분을 어려워하는지 알 수 있었다. 첫번째는 불친절한 퀘스트 안내였다. 유저에게 찾아가는 재미를 알려주기 위해 다음 퀘스트의 명확한 방향을 제시하지 않다보니 유저들은 튜토리얼이 끝난 뒤 어디로 가야하는지를 모르고 헤매는 현상이 발생했다.
전투 이벤트 역시 마찬가지였다. 던전으로 향하는 ‘출발’ 버튼이 드러나지 않고 숨겨져있어, 이를 모르는 유저들은 십분 넘게 출발대기하는 배 위에서 헤매기도 했다. 전투 종료 이후의 인터페이스도 불편하기는 마찬가지여서, 이미 전투에서 승리한 유저들은 어떻게 해야 던전 밖으로 나가는지 몰라 계속 던전 안을 헤맸다.
이 유저는 전투를 시작도 못하고 계속 던전 입구를 헤맸다.
<마비노기 영웅전> 개발진은 이를 통해 유저들이 어떤 부분을 불편해하는지 알 수 있었고, 이후 퀘스트와 전투 인터페이스를 좀 더 친절한 방향으로 수정했다. 또한 유저가 뭘 해야할지 몰라 한 곳에 오래 머무를 때마다 알림 팝업을 통해 해야할 일을 주기적으로 알려주기도 했다.
이런 변경사항들은 <마비노기 영웅전> 홈페이지에도 명시되었으며, 이런 수정에 의해 초보 유저들의 초반 이탈율이 대폭 감소하는 모습이 이후 발견되었다.
# 애와 어른, 설문 방법도 달라? 연령에 따라 달라지는 테스트
이처럼 유저의 심리를 분석하고 요구사항을 파악하는데 도움이 되는 UX분석이지만, 모든 사람에게 같은 방법을 쓸 수는 없다. 게임의 특성, 유저의 성향과 상황에 따라 다양한 분석 방법을 조합해서 사용해야 한다. 특히 유저의 연령대가 차이날 때는 특히 그렇다.
2017년 출시를 앞둔 <레고: 퀘스트 앤 콜렉트>의 경우를 살펴보자. 넥슨UX분석팀은 이 게임이 출시됐을 때 어느 연령대에 어필할 수 있을지를 알아보기 위해 다양한 연령의 실험자를 모집했다. 테스트 대상자가 성인일 경우, 기존에 진행하던 방식대로 해도 무방했으나 대상자가 어린이일 경우에는 얘기가 달랐다.
2017년 출시를 앞둔 <레고: 퀘스트 앤 콜렉트>
게임에 대한 인상을 직접적이고 구체적인 질문으로 물어본 성인과 달리, 어린이에게는 감정표현 위주로 간접적인 질문을 주로 던져야 했다. 질문지의 난이도 역시 어렵고 전문적인 표현보다는 해당 연령대의 교재에서 볼 수 있는 표현으로 구성했다.
질문지의 디자인과 질문의 구성 역시 성인과는 확인히 다르게 했는데, 어린아이들은 질문지에 글씨를 써 대답하는 행동 자체가 익숙하지 않고, 줄글 형태의 명확한 의견보다는 감정표현이나 말로 하는 쪽이 훨씬 속마음을 잘 드러내기 때문이다.
성인의 경우 여태까지 경험해 온 콘텐츠를 토대로한 자신만의 기준이 있고, 이를 바탕으로 게임의 장단점을 파악할 수 있지만 경험의 절대량이 부족한 어린이는 그런 것이 불가능하다. 그래서 실제 아이들이 참여한 설문지를 보면 정말 재미있었다 일색으로 도배되는 등 질문에 대한 이해가 부족했다.
어린이 유저의 게임에 대한 평과는 직관적이고 감정적이다.
이렇듯 모든 유저는 저마다의 취향과 경험이 다르며, 개인마다 게임을 판단하는 척도가 다르다. 따라서 유저가 게임을 이해하는 것만큼이나 개발자 역시 유저를 이해하는 것이 중요하다.
유저가 안정을 느낄 수 있는 요소와 환경을 적용한 테스트라면 유저의 마음을 알 수 있을 것이고, 유저의 마음을 잘 아는 개발자라면 좋은 게임을 만들 수 있을 것이라며 이고은 분석가는 강연을 마쳤다.
디스이즈게임 댓글 ()
디스이즈게임
