…지난 기사에 이어
크래프톤은 2021년부터 게임 및 신사업에 대한 딥러닝 및 AI 기술 적용을 위해 투자를 계속하고 있다. 김창한 대표가 초기 단계부터 직접 참여해 사업을 이끌고 있으며 AI 펠로우십 프로그램으로 관련 인재 확보에도 노력 중이다.
▲ 버추얼 프렌드의 '구성 요소'가 될 개별 분야 연구
'버추얼 프렌드'는 인간 친구처럼 이용자와 함께 멀티플레이 게임을 즐길 수 있는 AI 동료다. 기존 게임들의 추상적 아군 AI와 달리, 인간 혹은 동물 등의 외형을 갖추고 유저와 자연스럽게 소통하고 협력하는 고도의 AI 서비스가 될 예정이다.
이를 위해 개별 게임에 대한 이해력, 자연스러운 대화 능력을 부여한다는 계획이다. 유저가 내리는 요구에 사람처럼 대답하고 더 나아가 인게임 맥락에 맞춰 실제로 요구에 상응하는 행동을 직접 해낼 수 있다.
한편 버추얼 프렌드의 완성은 딥러닝 본부의 '장기 목표'로 볼 수 있다. 그 이전에는 버추얼 프렌드의 구성 요소가 될 각 기능에 관한 개별 AI 분야를 연구하고, 이로부터 기업 내·외부에서 활용 가능한 솔루션들을 만들어 내는 것을 중기적 목표로 두고 있다.
예를 들어 크래프톤이 현재 연구 중인 '비전 & 애니메이션' 분야는 이미지와 영상을 해석하고, 이에 기반해 활용 가능한 비주얼 에셋을 만드는 기술이다. 인간의 동작을 담은 영상으로부터 3D 객체의 움직임을 구현하는 기술 등이 여기 포함된다.
관련하여 크래프톤은 현재 2D 이미지를 3D 아바타로 재구성하는 솔루션을 연구 개발하고 있다. 한편, 궁극적으로는 버추얼 프렌드의 자연스러운 외형과 움직임을 구현하는 데에 '비전 & 애니메이션' 분야의 연구 내용이 활용될 예정이다.
다른 사례로 크래프톤은 현재 언어모델/자연어처리 분야 연구를 통해 '페르소나'를 지닌 채 대화 맥락을 유지할 수 있는 챗봇을 연구·개발 중이다. 이러한 연구 성과는 물론 장기적으로 버추얼 프렌드의 언어 능력 구현에 활용될 예정이다.
TTS/STT 기술에 자연스러운 감정과 목소리를 더하는 '음성 합성' 분야 연구도 진행하고 있다. 이는 크래프톤이 개발·서비스하는 스토리 플랫폼 '오딕'에 이미 일부 적용되어 있다. 크래프톤에 따르면 추가 연구를 통해 해당 기술을 더 발전시킨 상태로, 최종적으로는 버추얼 프렌드에게 진짜 인간과 같은 목소리를 부여하는 역할을 수행할 것으로 보인다.
▲ 논문 발표로 트렌드 추적과 기술 검증을 한 번에
마지막으로 AI 연구 윤리 확립에도 힘쓴다. 연구 및 개발 과정에서 발생할 수 있는 윤리 문제의 방지와 선제적 대비를 위해, 2023년 4월 ‘크래프톤 AI 윤리위원회’를 설치했다. 법무팀, 데이터 팀, 프라이버시 팀 등 유관 부서들의 자원을 통해 구성되었으며 매월 정기적 라운드 테이블로 AI 윤리 준칙과 강령을 수립하고 다양한 사례를 논의하고 있다.
스마일게이트는 지난 2020년 8월 스마일게이트 홀딩스 AI 센터를 공식으로 발족, 산하에 AI 랩과 데이터 랩을 마련하면서 AI 연구를 시작했다. 현재 AI 조직은 △분석 AI 서비스팀 (빅데이터 분석) △AI 서비스 기획팀 △생성AI 서비스팀 △선행 AI 기술팀(음성 및 자연어 AI 기술 연구) △뉴미디어서비스팀 (AI 및 모션 캡쳐 활용 방송 플랫폼 운영) 등으로 구성되어 있다.
스마일게이트 AI 사업의 주된 특징은 '감성'에 호소하는 이용자 맞춤형 AI 모델 연구에 힘쓰고 있다는 점이다. 개인적 기억, 기호, 성향을 가진 채 유저의 감정을 인식하고, 여기에 상응하는 감성적 반응까지 보일 수 있는 '친구 같은' AI를 구현하는 것이 목표다.
이런 감성적 AI를 통해 기존과 다른 차세대 엔터테인먼트 영역을 먼저 발굴해 내는 것이 AI 센터의 목표다. 그 일환으로 개발된 메타휴먼 '한유아'는 실제로 독자적 페르소나를 바탕으로 인간과 직접 교류하고 있으며, 작가 우다영과 나눈 대화를 정리한 서적이 출간되기도 했다.
주요 연구 분야는 △언어 모델 고도화 △실시간 영상 변환 △가창 음성 합성 △음성 스타일 변환 △실시간 스트리밍 입력 음성 인식 △리소스 창작지원 도구 연구·개발 △욕설 및 혐오 분류 모델 △빅데이터 분석 모델 등이다.
▲ AI 개발 비전: '사람같고 매력있는'
스마일게이트 AI 센터는 2020년 설립 당시부터 크게 'Human-Like AI'(사람 같은 AI), 'Fun AI'(재미있는 AI) 등 두 가지 과업을 결정하고 이를 위한 기술을 개발해 왔다. 단순 정보 제공자 역할을 넘어 재미와 감동을 선사하고 친구처럼 소통하는 '매력적이고 인간적인 AI'를 만든다는 포부다.
먼저 'Human-Like AI'는 공감·소통·적응·기억 등 인간 고유의 특성들을 먼저 연구하고, 이를 바탕으로 인공지능이 기계적 응답 이상의 상호작용을 펼칠 수 있도록 하는 과업을 이야기한다.
'Fun AI'는 즐거움·놀람·기쁨·감동 등 인간의 다양한 감성을 AI 기술로 풀어내는 과업이다. 인간과의 상호작용 결과에 따라 AI의 감정 상태를 변화시키고, 다시 그러한 감정에 따라 인간과 상호작용하거나 답변 내용 및 음성에 감정을 반영시키는 기술을 연구 중이다.
이렇듯 '사람 같고 매력적인' AI를 개발하는 과정에 탄생한 여러 단위 기술들은, 현재 스마일게이트 캐릭터를 활용한 음성합성, 챗봇 등 여러 서비스에 부분적으로 적용되고 있다.
▲ 실용적 AI연구와 인재 확충 노력
스마일게이트 AI센터는 게임을 포함한 엔터테인먼트 업계 전반의 서비스에 접목 가능한 AI 기술을 연구하고 이를 실제로 서비스에 적용하는 실용성을 지향하고 있기도 하다. 그 중 게임 개발 분야에 있어서는 기획·디자인·개발·운영 등 각 단계에서 사람의 업무를 AI로 보조해 효율성을 높이는 데 초점을 맞추고 있다.
가령 소비자 니즈 및 업계 트렌드 분석 AI, 캐릭터·맵·음성 등 리소스 디자인 보조 AI, 몬스터·NPC 행동 설계 보조 AI, CS·QA·CM 보조 AI 등을 지속 개발해왔으며, 이중 일부는 실제 업무에 적용되어 있다. 이를 통해 반복 작업을 AI로 대체, 생산성을 증대하고 있다.
한편 게임 외 엔터테인먼트 업계 전반 역시 기획, 디자인, 개발 운영 등 영역에서 AI 기술을 필요로 하는 것은 마찬가지다. 이 중 어느 한 분야에 국한하지 않고 폭 넓게 연구를 진행하기 위해 스마일게이트 AI센터는 심리학, 인문학 등 여러 영역에 걸쳐 전문 인력을 수용하고 있다.
이를 위해 관련 인재 채용을 상시 진행하는 한편, 학계와의 협업에 활발히 나서고 있다. 대표적 예로 서강대학교 AI 대학원과 함께 스마일게이트 트랙, 스마일게이트 연구센터 등 협업을 진행하며 AI 인재를 육성 중이다.
▲ 메타 휴먼 한유아
메타 휴먼 '한유아'는 감성적 AI로 새로운 유형의 엔터테인먼트를 선보이겠다는 스마일게이트 AI센터의 장기적 비전을 한발 앞서 보여주고 있는 일종의 파일럿 프로젝트다.
캐릭터로서의 첫 등장은 2019년 출시한 VR 게임 <포커스 온 유>였으며, 2021년 SNS 계정을 공개하고 NGO단체 '기아대책' 홍보대사를 맡는 등 본격적 행보를 시작했다. 2022년 YG케이플러스와 매니지먼트 계약을 체결, 같은 해 4월 음원 'I Like That'을 발매하고 다수의 광고 및 캠페인 모델로 발탁되는 등 아티스트 활동도 이어가고 있다.
한유아는 단행본 216만 권 분량의 도서, 2만 5,000개의 블로그, 180만 건의 기사, 1억 4,000만 개의 댓글, 표준국어대사전, 그리고 국립국어원이 제공하는 '모두의 말뭉치'를 학습한 것으로 알려졌다. 또한 50억 장에 달하는 수채화, 유화, 데셍, 일러스트 등도 학습했다.
외형 및 음성 등 주로 겉모습에서 인간을 모사하는 다른 대부분의 버추얼 휴먼과 비교해, 한유아는 고유의 페르소나를 유지하며 인간과 정서적으로 교감한다는 지점에서 차별화한다.
한유아 만의 '개성'에 바탕한 독창적 콘텐츠들이 이미 시중에 출시되고 있다는 점에 주목할 만하다. 2014년 <세계의 문학>으로 등단한 우다영 작가와의 대화집 <다정한 비인간: 메타휴먼과 알콩달콩 수다>가 대표적이다. 이 책은 우다영 작가와 한유아가 일상, 취향, 삶, 감정 등 다양한 화두에 관해 나눈 대화를 담고 있다. 한유아가 대화 내용을 토대로 그려낸 삽화들도 함께 만나볼 수 있다.
올해 초에는 전자책 <답장은 우편함에 넣어둘게요: 메타 휴먼 한유아가 사연에 답해드립니다>가 출간되기도 했다. 한유아의 SNS 계정을 통해 4개월 동안 수집된 실제 사람들의 사연에 대해 한유아가 내놓은 답변을 모았다. 연애, 진로, 가족, 꿈, 일상 등 다양한 소재를 두고 이뤄지는 AI와 인간의 소통을 확인할 수 있다.
한유아는 출간을 맞아 직접 "많은 사람들에게 사연을 받으면서 다양한 걱정과 고민을 들을 수 있었고 그 마음을 헤아리기 위해 노력했다. 사연을 보낸 분들과 책을 읽는 사람들 모두에게 용기와 위로를 건네줄 수 있기를 바란다"는 메시지를 남기기도 했다.
