게임과 AI(인공지능)의 조합. 엔씨소프트의 AI 조직 ‘엔씨 AI’는 2011년 2월 출범해 현재 150여명의 규모, 2개 센터 산하 5개 랩으로 운영되고 있습니다. 단순 AI 기능만 강조하는 것이 아니라, 개발팀, 사업팀 등 산업의 전면에서 뛰고 있는 이들과 함께 AI로 풀 수 있는 다양한 방법을 고민하는 곳이죠.
회사는 오늘(18일), 자사에서 미디어 토크를 진행, 자사 R&D 특징과 현황에 대해 공유하는 시간을 가졌습니다. 한운희 미디어인텔리전스랩 실장과 2개 센터를 맡고 있는 이재준 AI 센터장, 장정선 NLP 센터장이 참석해 엔씨소프트가 가치 증대 측면에서 어떤 고민을 하고 어떻게 진행하고 있는지, 어떤 서비스 혁신을 불러 일으킬 수 있는지 얘기를 나눴습니다. 토크 내용을 정리했습니다. / 디스이즈게임 정혁진 기자
# 엔씨가 정의하는 AI? ‘문제를 해결하는 기술도구’ – 한운희 실장
엔씨소프트는 AI를 ‘문제를 해결하는 기술도구’라고 정의한다. 회사는 AI 기술로 기존보다 더 나은 해결책을 제공하고, 사용자가 새로운 가치를 경험할 수 있도록 노력하고 있다.
우리는 2011년 2월 TF 조직 설립을 시작으로 최근 AI 센터, NLP 센터 등 2개 센터로 확장했다. 두 조직은 AI를 함께 R&D 하고 있으며 셋업-빌드업-스텝업 시기를 거쳐, 현재 150여명이 ▲ 게임 AI랩, ▲ 스피치 AI랩, ▲ 비전 AI랩(이상 AI센터 담당), ▲ 언어 AI랩, 지식 AI랩(이상 NLP 센터 담당) 등 5가지 파트를 연구 중이다.
엔씨 AI 조직의 R&D는 크게 4가지 특징으로 설명할 수 있겠다. 먼저 개별 문제 해결에 필요한 엔지니어링 기술 개별보다 근본적인 해결을 고민하고 있다. 그래서 단기 성과 위주 개선보다 중장기적 투자와 R&D로 기술 혁신을 추구한다.
두 번째로 활발한 외부 협력. 여러 사내, 외 행사를 통해 우리의 연구 현황을 공유하거나 산학 협력을 통해 함께 문제를 고민하기도 한다. 기본적으로 공유와 협력, 교류하는 문화를 추구하고 있다.
다음으로 대학원 연구실 같은 분위기를 추구한다는 것. 수평적인 문화 속에서 서로가 가진 지식, 연구 경험을 나누면서 함께 문제를 풀고 있다. 덕분에 관련 분야 경험자도 많이 유입되고 있으며, 마지막으로 서로 발전하는 산학 협력을 추구한다는 것이다. 보통 산학 협력은 기업이 풀고자 하는 흥미 과제 위주로 진행하지만, 엔씨 AI 조직은 어떤 문제를 풀 때 재미있고 가치 있는 지를 처음부터 고민해서 과제를 제안하고 있다.
# 개발과 서비스 영역에서 엔씨의 AI 활용 방향은? - 이재준 AI 센터장
우리가 하는 AI R&D는 많은 시도와 실패, 그리고 재도전이 녹아 있다. 도전하는 영역을 상세히 공개하지는 못해도 이번 자리에서 일부를 공개함으로써 우리의 고민과 나가고자 하는 방향을 얘기하려 한다.
아무래도, 엔씨소프트는 게임회사기에 게임에서 AI를 잘 활용하는 방법을 고민하고 있다. 게임 도메인에서 AI 기술을 활용하는 것을 두고 우리는 ‘어시스턴트 AI’라 부른다. 이를 개발, 서비스 영역으로 나누는데, 각 영역은 많은 공정이 있으며 우리는 여기에 AI 기술을 활용하기 위해 노력하고 있다.
세부적으로 보면, ‘게임 개발 어시스턴트 AI’의 경우 외부에 많이 공개한 ‘비무 AI’와 같은 게임 플레잉 AI는 실제 플레이를 하는 영역으로 이를 활용해 각종 콘텐츠를 만들고 있다. 게임 기획 지원과 아트 제작 지원에도 AI를 사용할 수 있다. 개발 검증 역시 테스트. 검증 차원에서 AI를 활용 가능하다.
예를 들어, <블레이드 & 소울>은 여러 나라에서 서비스되고 있고 그 나라에 맞는 현지어로 제공된다. 게임 내 수많은 대사가 있는데, 우리가 만든 스크립트가 그 나라 발음으로 정확히 발음 되는지를 알기 힘들다. 이부분에 AI를 활용하면 효율적으로 관련 작업을 수행, 생산성 향상을 기대할 수 있다.
두 번째 ‘서비스 어시스턴트 AI’도 플레이 편의 기능을 비롯해 채팅 편의 기능, 게임 중계 등 AI를 활용해 사용자에게 편의 기능을 제공할 수 있다.
위 두 파트 중 ‘아트 제작 지원 AI’와 ‘플레이 편의 기능’을 조금 더 상세히 얘기해보겠다. 아트 제작 지원 AI는 AI와 캐릭터 애니메이션 등을 제작하면서 AI가 기본 작업을 수행하고 개발자는 보다 창의적이고 품질 향상을 위한 작업에 집중하게 하는 것을 말한다.
4가지 예가 있는데, ‘모션 스타일 트랜스퍼’는 수작업이 많이 들어가는 애니메이션 제작에 AI 분야 도움을 받기 위한 기술이다.
다음으로 ‘학습 기반 IK(Inverse Kinematics) 기술. 캐릭터가 상황, 환경에 맞게 적절한 동작을 하도록 하는 기술이다. 예를 들면 벽을 타는 동작의 경우 다양한 관절 부위를 조절, 수정해야 하는데, 이 기술을 활용하면 기계 학습으로 다양한 모양의 지형을 올라갈 때 그에 맞는 동작을 자동으로 처리해준다.
최근 집중하는 분야로는 ‘텍스트 투 애니메이션’ 기술이 있다. 캐릭터 대사에 맞게 얼굴, 몸동작 등 애니메이션을 자동화하는 것으로 많은 컷신을 일일이 수작업 하는 것을 크게 개선 시킬 수 있다. 개발자는 검수나 리터치를 하면 된다. 아마 내년 쯤 좋은 결과를 보여드릴 수 있을 것 같다.
마지막으로 ‘캐릭터 얼굴/아이콘 생성’ 기술로, 이는 어떤 이미지를 집어넣으면 그에 맞는 아이콘을 자동으로 생성해주거나 추상적 묘사를 통해 알맞은 캐릭터를 추천해주는 기능을 만들어보고 있다. 사용자 캐릭터나 NPC 생성시 도움을 줄 수 있을 것 같다.
‘플레이 편의 기능’ 파트로는 최근 컨퍼런스에서도 공개했던 ‘보이스 커맨드’를 예로 들어볼까 한다. 제공되는 기능은 호출어와 명령어를 인식하면 이를 AI가 이해하고 해당 동작을 수행하는 원리를 가지고 있다.
그러나, 여기에는 많은 기술적 도전이 요구된다. 예를 들면 단말기에서 실행할 경우 많은 통신량, 제한된 리소스에서 메모리와 CPU를 효율적으로 사용해야 한다. 또 1미터 이상 원거리에서 발음하다 보니 주변 잡음을 걸러줘야 한다. 사용자가 처한 상황이나 발성도 다양할 것이고. 게다가 명령어 외에 사용자가 말하는 일반 발성은 미처리하는 부분도 필요하다.
아마 올해 안에는 보이스 커맨드를 완성 시키는 것은 어렵겠지만, 단계적으로 쉬운 것부터 서서히 도입하려고 생각 중이다. 호출어를 부르고 간단한 명령어를 말하면 인식, 수행하는 정도까지 구현하려고 노력하고 있다. 도입 시기는 개발팀, 사업팀과 협의해야 하겠지만.
# 야구앱 ‘페이지’로 알아보는 엔씨 AI가 추구하는 새로움과 방향성 – 장정선 NLP 센터장
앞서 이재준 AI 센터장이 가치를 더하는 부분을 설명했다면, 나는 AI로 어떤 가치를 새롭게 만들고 어떤 방향성을 가져갈 수 있을 지를 설명하겠다. 3가지 정도로 얘기할 수 있을 것 같다.
보통 AI를 소개하는 자리에 가면 기술적 관점에서 AI를 바라보는 얘기가 많다. 그러나, AI 기술이 사용자에게 새로운 가치를 주기 위해서는 이러한 기술적 관점 외 플랫폼, 서비스 관점에서도 AI를 바라볼 필요가 있다. 기술로서 AI는 성능을 최대화하는데 목적을 두고 있지만, 사용자에게 빠르고 효율적으로, 적절하게 서비스되는지, 그런 가치가 있는지에 대한 AI가 플랫폼화 되어있어야 활용성이 높아진다. 그래야 여러 서비스에 붙일 수 있으니까.
기술이 완성된다고 해서 사용자에게 바로 가치가 전달되지는 않겠지. 그래서 우리는 이러한 AI 기술을 연결해 사용자에게 어떤 가치와 경험을 주는지를 ‘야구’ 분야로 제공하고 있다. 다양한 시도를 하고 있다.
미디어적인 부분을 보자. 최근 ‘어벤져스 엔드게임’이 개봉돼 큰 인기를 끌었다. 그런데, 모 사이트들에서 ‘어벤져스 엔드게임 보기 전 시리즈 몰아보기’라는 컨셉의 영상이 보이고 있다. 게다가 영상 분량도 매우 짧다. 우리가 주목하는 가치는, 어떤 유형의 콘텐츠든 가볍고 빠르게 전달하는 것이 요즘 세대에 부합한다는 것이다. 야구의 경우, 한 경기 평균 플레이 시간이 3시간 10분이다. 앞서 몰아보기 컨셉 영상이 매우 짧은 것과 비교하면 갭이 크다.
MLB에서 최근 통계 관련 뉴스를 내보냈는데, 전체 플레이 시간 중 치고 주루 하거나 하는 등 주요 플레이 관련 경기 시간을 합쳐보니 평균 5분 40초 정도 나왔더라. 여기에 투수가 던지는 것까지 합하면 18분 정도 나온다. 나머지 시간은 투구 와 투구 사이, 타자와 타자 사이, 그리고 이닝과 이닝 등 여러 요소들이 들어 있다.
그래서 우리도 ‘페이지’ 앱서비스에 긴 야구 경기 시간에서 하이라이트만 모아서 제공하되, 이를 AI로 주요 플레이를 자동 수집하거나 흥미로운 기록을 모으는 것이 가능하겠다는 생각을 가졌다. 아마 8월 중 제공할 수 있을 것 같다. 또, 이렇게 영상을 자르면 음성이 모두 잘리게 되는데 이를 AI 음성 기술로 야구 중계 음성을 입혀 제공하는 부분도 준비 중이다.
영상 외 뉴스 브리핑도 가능하다. 사용자가 원하는 이슈를 구분, 요약해 그에 맞는 텍스트를 작성할 수도 있다. 이를 활용하면 새로운 형식의 정보 전달도 할 수 있다.
스토리적인 측면으로도 살펴보자. 모든 정보를 보면 ‘이야기’가 있다. 이야기를 나눌 수 있는 정보가 가치를 줄 수 있으며, AI로 수많은 정보에서 흥미로운 것을 분류해 이를 나누는 기회를 제공하는 것이다. 사용자가 선호하는 선수나 구단이 어떤지, 구단에서 눈여겨볼 정보가 무엇인지 다양한 관점에서 보여줄 수 있다.
마지막으로, AI로 사용자의 감정과 연결해 교감하는 것을 추구하고 있다. 예를 들면, 푸시 알림을 통해 구단의 최신 정보를 메신저 스타일로 접하고, 이 과정에서 AI와 질문, 답변 과정을 거쳐 여러 관련 콘텐츠와 연결시켜주는 것도 가능하다. AI로 자연스럽게 정보에 스며들 수 있고 찾기 위한 고민도 덜 수 있다.
# 미디어 공동 Q&A
이렇게 개발 중인 내부 AI 기술을 외부에 공개하게 된 계기가 있나?
이재준 AI 센터장(이하 이): 소통과 공유, 협력을 추구하고 있다. 최근 기술을 공유하는 추세이기도 하고. 물론 우리가 어느 정도 방향을 잡고 가능성 있는 것을 공유하는 것이며, 내부에서 더 많은 시도를 하고 있다. 엔씨소프트가 국내 기업 중 AI를 빠르게 시도하고 있기에 많은 시행착오도 겪고 있다. 이런 것을 알리고 나누는 것이 좋겠다는 생각에 마련했다.
최근 소프트뱅크 손정의 회장과 김택진 대표가 만났다. 만남 후 어떤 얘기가 있었나?
이: 특별한 얘기는 없었다. 듣기로는 AI가 여러 차원에서 활용되고 즐거움을 주는 부분에서 어떤 역할을 기여할 수 있을지 여러 얘기를 나누셨다더라.
음성을 그대로 받아 적는 AI 기술도 제법 요구되고 있는데, 그런 기술에 대해서는 어떻게 생각하나?
이: 어려운 기술이다. 자연스럽게 말하는 것을 받아 적어서 텍스트로 정리하는 것이니까. 물론 딥러닝 때문에 수준이 높아지기는 했으나 아직 자연스럽게 말하는 것을 정리하는 형태까지는 도달하지 못했다. 보이스 커맨드도 단단해 보이지만, 기술적 도전에 대해 말했듯 어려운 부분이다. 물론 우리도 그런 기술을 꿈꾸고 있다. 언젠가 해결되지 않겠나.
AI 조직이 150여명 수준까지 도달했다. 회사에 어떤 부분까지 기여하는 것을 목표로 하나?
이: 어려운 질문이다. 완제품을 만들어서 매출을 발생 시키는 조직이 아니라, 각 부서의 개발 과정에 들어가 도움을 주는 곳이기 때문이다. AI연구는 장기적으로 R&D를 해야 하는 분야다. 인내심을 가지고 지켜봐야 한다.
정답이 없는 문제를 찾아 해결하고, 더 좋은 결과를 내기 위해 반복 업무도 수행해야 한다. 이제 AI가 싹 틔운 단계다. 규모를 헛되게 쓴다면 견제해야 하겠지만. 아무쪼록 과정에 많은 응원 부탁한다.
목표라 한다면 ‘개선과 혁신’이라고 표현할 수 있겠다. 개선은 몇 배 좋아지는 것이지만 혁신은 몇 십 배 좋아지는 것이라고 볼 수 있겠는데, 우리는 당연히 ‘혁신’을 꿈꾼다. AI 기술이 엔씨소프트의 큰 경쟁력이라고 생각한다.
엔씨소프트는 AI의 기초적인 것부터 연구하는 것 같다. 넥슨의 경우 게임 밸런스부터 치팅, 필터링 등 라이브 게임에 AI를 도입하는 것에 집중하고 있다. 기초 연구를 하는 이유를 듣고 싶다.
이: 엔씨소프트도 라이브 서비스를 하는 게임에 대한 연구를 하고 있다. 데이터 센터에서 데이터 연구도 직접 하고 있고. 우리는 그쪽이 하는 업무를 협업하는 형태로 진행하고 있다. 보안 이슈의 경우 보안 센터가 맡고 있으며 역시 관련 업무를 협업하고 있다. 주관하고 있지 않을 뿐 기초 연구를 비롯해 라이브 서비스 관련 연구까지 모두 진행하고 있다.
보이스 커맨드와 같은 음성인식 인터페이스가 게임 조작에 얼마나 유용할 것 같나?
이: 타 팀과 얘기하면서 사업팀에서 이런 것이 있으면 좋겠다 생각해서 나온 기능이다. 영상에서 공개한 기능이 사용자가 원할 수 있는 부분이라고 들었다. 현재는 그 수준까지 가는 것이 목표이며 구현하는 과정에 있다.
리스크한 기능은 조금 더 나중에 적용할 것이다. 공격이나 무기, 스킬 사용 등 즉각 영향을 미칠 수 있는 것은 진지하게 적용해야 한다고 생각한다. 지금은 물약을 구매하거나 이동, 채팅 등 위험성이 낮은 것부터 적용해 사용자가 어떻게 활용하는지, 어떤 편의성을 느끼는지 보면서 범위를 확대할 생각이다.
AI 조직을 꾸린지 8년 됐다. 자체 평가를 한다면.
이: 2011년 2월 설립됐을 때 1명이었는데 그게 바로 나다. 당시 윤송이 사장이 엔씨소프트에 AI 조직을 만들어 달라는 미션을 부여했다. 일단 그건 해결했고, 개인적으로는 지금까지 한 것들을 보면 어느 정도 성과는 있었다고 생각한다. 아무것도 없던 곳에서 AI 조직을 대거 꾸렸고 초기적인 성과를 의미 있게 내기 시작했다.
AI 조직은 블랙박스식 연구가 아니라 다른 팀과 처음부터 고민하고 나눈다. 비무 AI도 그렇게 만들어졌다. 기술 위주로 만든 것이 아니라, 현업에서 고민하는 문제를 처음부터 같이 고민하고 있다. 이게 엔씨 AI 조직의 경쟁력이라고 생각한다.
서비스적인 측면에서, 유저가 서비스를 이용하고 이용 과정에서 과금하는 과정이 발생한다. 최대한 공감을 얻고 가치를 판단할 수 있도록 AI가 어떻게 도움을 줄 수 있을까?
장정선 NLP 센터장(이하 장): 연구 중이다. 사용자가 원하는 상품이 있다고 가정해보자. 이것을 개별 구매하면 합이 커지는데, 사용자가 충분한 가치가 있다고 판단할 정도를 패키징해 가치 산정하는 모델도 있다. 물론 이것은 과금 요소에만 연결되는 것이 아니다.
앞서 설명한 사용자와 교감과도 맞닿아 있다. 콘텐츠에도 감정이 담겨 있다고 얘기했는데, AI로 사용자와 효율적인 매칭 콘텐츠를 제공, 사용자와 교감할 수 있는 기반을 마련할 수 있다. 이른바 ‘AI 페르소나’로 기술이 발전하면 애착, 교감의 대상으로 발전할 수 있을 것으로 생각한다.
회사에서 AI 조직을 어떻게 지원하고 있나?
이: 처음 조직을 의뢰 받았을 때 초기 방향성을 놓고 윤송이 사장이 큰 역할을 해줬다. 현재는 미국에 간 관계로 김택진 대표가 이끌고 있다. 우리와 많은 토론을 했는데, 엔씨소프트에 와서 놀란 것이 대표와 이렇게 기술적인 토론을 많이 할 수 있다는 것이 신기했다. 게임에 대한 이해도가 적을 때 AI 관련 아이디어를 주기도 했다.
물론 윤송이 사장도 마찬가지다. 휴먼 네트워크가 좋아서 어떤 일을 하거나 고민이 있을 때 이를 활용해 연락을 주기도 한다. 2019년 3월 스탠포드 대학에 HAI(Human-centered AI Institute) 분야에 자문 위원으로 들어갔는데, 거기에는 에릭 슈미트 전 구글 회장, 리드 호프만 링크드인 공동 창업자 등 20여명의 IT업계 인사들이 자문 위원에 포진돼 있다.
향후 새롭게 투자할 분야, 규모는?
이: 규모는 정확히 계산하지 않고 있다. 주된 투자 규모라 하면… 인력과 장비, 서버, PC용 GPU정도? 개발자 옆에 보면 PC가 많다. 산학 협업도 중장기적으로 진행하고 있다. 교수와 발전 방향을 같이 고민해야 하기 때문이다. 액수가 얼마인지는 잘 모르겠지만 크지는 않다. 투자를 늘려가야 한다고 보지만, 어떻게 해야 할지는 고민이다. 적절히 투자하는지도. 투자 전 어떤 의미, 혁신을 줄 수 있을지도.
페이지 앱에서 8월 중 보여줄 기능에 대해 조금 더 상세하게 말해주면 좋겠다.
장: 페이지 내 들어갈 기능으로 정확히는 표현하기 어렵다. 도메인에서 AI 부분 쪽으로 진화해야 할 것이 많은 상태다. 야구 관련 더 많은 AI를 진화시키는 쪽으로 진행하고 있다. 1년 6개월 운영하며 쌓은 기술이 많다. 활용할 기타 분야에 대해서는 검토 중이다.
최근 게임 과몰입 관련해 자율 규제에 대한 얘기가 많다. AI로 이를 증명해줄 방법이 있을까?
이: 게임 질병 등재에 대해서는 내부에서도 우려하고 있지만, 얘기한 부분에 대해서는 고민하지 않았다. 한 번 생각해볼 부부이긴 한 것 같다. AI는 문제를 푸는 방법이나, 관련 기술이 어떻게 기여할 수 있을지는 좀 더 고민해야 할 것 같다.
현재 야구 분야 중심으로 적용하고 있다. 타 분야 적용은 어떻게 계획하고 있나?
장: 야구를 처음 선택한 이유가 회사에 야구 팀이 있어서 전문가와 접촉하기 쉬워서도 있지만, 방송이나 영상, 뉴스, 팬도 많고 커뮤니티도 많이 활성화되어 있다. 기록의 스포츠인 만큼 기록도 방대하고. AI는 데이터가 중요하다. 학습을 기반으로 하기에 풀어야 할 것이 많다. 구체적으로 고민한 분야는 몇 가지 있는데, 서비스 구체화 단계가 아니어서 아직 언급하기는 어렵다.
AI로 새로운 형태의 게임을 만드는 것도 가능할까?
이: 계속 고민하고 있다. 시도는 했으나 잘 안됐다. 아직 기술 만으로 게임의 즐거움을 만든다는 것은 어려운 부분이다.
엔씨소프트의 AI 기술이 어느 정도 수준이라고 봐야 할까?
이: 세계적인 수준이라고 말할 수 있다. 앞서 말한 게임 AI랩, 스피치 랩, 비전 AI랩, 언어 AI랩, 지식 AI랩 모두. 그 중 게임 AI는 독보적인 수준이라고 자신 있게 말할 수 있다. 언어 AI랩, 지식 AI랩도 마찬가지이긴 하다. 스피치 랩, 비전 AI 랩은 출발은 늦었지만 많이 올라왔다.
야구중계 같은 것은 아직 아무 곳도 시도하지 않았다. 상황에 맞게 톤과 완급을 조절해야 한다. 분위기도 파악해야 하고. 꽤 높은 수준을 가지고 있다. 음성 인식은 구글이 잘 하고 있지만, 게임 도메인 영역은 우리가 더 잘한다고 생각한다.
장: 세계적인 수준이라는 것은, 보통 그 해 해당 분야의 탑 티어 컨퍼런스를 발표할 수 있는 단계를 말한다. 각 분야에 오를 수는 있지만 구두 발표하기는 더 어렵다. 우리는 두 센터가 맡는 5개 분야 모두 컨퍼런스에서 구두 발표할 정도로 논문을 내고 있다. 평균 컨퍼런스에 통과될 확률이 10~20% 정도 된다고 얘기하고 있다.