유저관점에서 게임을 개발한다. 많은 개발자가 하는 이야기다. 하지만 많은 개발사가 지키지 못하는 이야기다. 어디서 문제가 생기고 있는 걸까? 블루홀에서 근무하는 고원준 기획자는 이 차이를 다들 ‘숫자’에만 연연하기 때문으로 내다봤다.
'단순히 숫자를 넘어서 사람을 봐야 한다’ UX(User Experience:유저 경험)기획자인 그로서는 당연한 이야기겠지만, 그의 강연은 보다 현실적이었다. UX프로세스가 없는 회사에서, UX팀에 대해 이해할 수 있는 동료가 없는 상황에서 가능한 현실적인 방법들이다. 그의 알짜배기 강연을 디스이즈게임에서 옮겼다. /디스이즈게임 안정빈 기자
1. 정성적인 조사는 왜 필요할까?
무언가를 조사하는 방법은 크게 측정한 데이터를 통한 정량적인 조사와 행동이나 대화 등을 통해 수치로는 드러나지 않는 내부적인 원인을 유추하는 정성적인 조사 2가지로 나뉜다.
이미 많은 개발사는 정량적인 조사를 진행하고 있다. 개발사들은 다양한 기술을 통해 유저의 정보를 수집한다. 유저의 성별, 캐릭터의 직업, 레벨, 장비, 유입시기, 사망률, 이탈률, 잔존률 등등 다양한 정보를 실시간으로 분석하고 이를 토대로 게임을 개발하고 수정한다.
얼핏 봐서는 논리적이고 완벽한 것 같지만 여기에는 문제가 있다. 바로 어디서 얼마나 심각한 문제가 발생하는 지는 알 수 있어도, 그 문제가 ‘왜’ 발생하는 지는 알 수 없다는 거다. 같은 문제를 두고 개발자 사이에서 해석이 다를 수도 있고, 최악의 경우 잘못된 해석을 할 수도 있다. 조사결과는 매우 논리적이고 완벽하지만 해석은 주관적인 탓이다.
예를 들어 2014년 초 <테라>에서 초반지역인 ‘여명의 정원’에서 유저들이 급격한 이탈률을 보였다. 하지만 개발자들의 의견은 나뉘었다. 퀘스트 동선이 안 좋다는 의견이 있는가 하면, 베카스라는 첫 보스가 어렵다는 추측도 있었다. 떠난 유저는 애당초 우리 유저가 아니라는 과격한 의견도 있었다.
이럴 경우 문제에 대한 공감대가 부족하다면 결국 비용이 적게 드는 쪽으로 방향이 결정된다. 결국 보스 난이도를 바꾸기로 결정했다. 아마 대부분의 회사가 비슷한 결정을 내렸을 것이다. 블루홀 역시 마찬가지였고, 예상할 수 있는 결론이지만 효과는 거의 없었다.
그래서 필요한 게 정성적인 리서치다.
2. 정성적인 리서치를 어떻게 현실화할 수 있을까?
중요하다는 걸 알아도 현실로 이뤄내기는 쉽지 않다. 블루홀도 마찬가지였다. UX팀이 있었던 것도 아니고, 사내 게시판에 글도 올려봤지만 반응이 크진 않았다. 이유를 봤더니 일단 심리적 허들이 존재한다. 정성적 리서치라는 것 자체를 해본 적이 없는 데다가 들어보면 비용도 많이 들 거 같고, 결과적으로 개발사는 그게 아니어도 이미 바쁘다. 그래서 그는 순서를 바꾸기로 했다.
<테라>를 해본 적은 없지만 관심은 있는 친구를 꼬셔서 테스트를 시켰다. 그리고 그 결과를 영상으로 찍어서 회사에 공유했다. 친구는 게임 도중에 드는 생각들을 말하도록 시켰고, 그때의 감정들을 기록했다. 아래는 그 영상이다.
정말 너무나 당연했다고 생각했던 부분들이 MMORPG를 안 해 본 유저들에게는 버겁게 느껴지자 곧바로 개발팀에서 반응이 왔다. 제작실장부터 개발의 필요성을 느꼈고, 업무의 현실화가 이뤄졌다. 정성적 리서치를 조직 전체의 인식으로 바꿔놓은 것이다.
3. 유저 리서치의 준비와 실행
회사에서 모두 공감대까지 형성됐다면 이제는 준비와 실행방법에 대해 고민할 때다. 그는 유저 리서치 과정에서 생길 수 있는 6가지 궁금증에 대해 예를 들었다.
언제 해야 하나?
방향성이 불확실할 때, 혹은 정해진 업무가 있는데 유저의 생생한 니즈를 방영하고 싶을 때, 마지막으로 현재 완성된 결과물의 완성도를 끌어올리고 싶을 때 진행한다.
무엇부터 봐야 하나?
정성적 리서치도 정량적인 결과에서 시작한다. 예를 들어 <테라>는 유저 대부분이 초반에 이탈하는 문제가 있어서 여기서 첫 리서치를 진행했다. 각 상황에 맞춰 우선순위를 정하자.
몇 명이나 리서치를 해야할까?
3~5명을 추천한다. 5명이면 문제의 83%를 발견할 수 있다는 연구결과다 있다. 그 이후는 앞의 이야기가 반복될 확률이 높아서 효율이 떨어진다. 관찰자 역시 지겨워서 똑같은 테스트를 5번 이상 보기 어렵다. 개인적인 경험으로는 3명이면 충분했다. 오히려 테스트가 길어지면 반영할 수 있는 시간이 줄어들어 문제가 되기도 했다.
참가자 모집이나 구분은?
딱히 요령이 없다. 개인친분이나 페이스북, 전문모집업체 등 다양하게 이용했다. 모집군을 구분하는 건 매우 중요한데, <테라>를 해봤는지, 타 MMORPG 경험은 얼마나 되는지? 다른 게임 경험은 얼마나 되는지? 등등을 가려서 최대한 열심히 나눴다.
비용과 시간은 어느 정도 드나?
하루 아르바이트 비용 정도를 지불했다. 이 정도는 아깝지 않다고 본다. 전문화된 공간이 있으면 좋겠지만 없다면 인터넷방송을 이용해서 다른 회의실에 관찰실을 마련했고. 마이크만 좋은 걸로 써도 그 사람 감정 상태를 잘 알 수 있었다.
중요했던 점들
1. 결과를 오염시키지 않도록 중립적 태도 유지할 필요가 있다. 유도심문도 안 된다. 단편적인 답이 자주 나오는데 왜 그렇게 생각하는 지 추궁하듯 5번 정도 물어봐서라도 근본적 속마음을 알아야 한다.
2. 설문조사 결과를 맹신하지 말자. 대다수 유저는 자기가 실제로 뭘 원하는 지 모른다. 단편적인 피드백을 여과 없이 받아들이면 안 된다. 유저가 진짜로 원하는 걸 분석해야 한다.
3. 개발담당자를 어떻게든 참관시켜라. 다양한 관점에서 문제를 찾을 확률이 높고, 실제 개발 우선순위가 올라갈 확률이 더 높아진다.
4. 결과분석 및 효과평가
<테라>는 정성적 리서치 결과 6가지 문제가 나왔다. 조작안내나 스킬습득 문제 등. 문제 심각도에 따라 우선 순위 정해서 리포트로 제공했다. 그리고 유저가 느낀 감정곡선이 실제 유저의 이탈지표와 일치한다는 걸 알게 됐고 수정에 나섰다.
초반 가이드와 중형 몬스터와의 자연스러운 전투, 초반지역의 전면 스토리 개편 등이 이뤄졌고, 이후로도 총 35회의 유저 리서치가 진행됐다. 초반 이탈률은 물론 만렙 달성율에도 많은 변화가 생겼다.
고원준 기획자는 노인을 위한 상품 디자인을 위해 실제로 3년간 노인 복장으로 지냈던 디자이너 패트리샤 무어의 예를 소개하며 게임업계에서도 정성적인 리서치를 통해 유저들에 한발 더 나아갈 수 있음을 강조했다.
