시네마틱 제작 파이프라인에서, 아트 검수에 소모되는 막대한 시간은 프로젝트의 생산성을 저해하는 원인 중 하나다.
작업자가 동일한 영상을 오랜 시간 들여다볼수록 어색한 연출에 점차 익숙해지는 구조적 한계가 존재하기 때문이다.
진승범 넥슨게임즈 부실장은 NDC 2026 세션에서 반복되는 피드백을 줄이기 위해 아트 리뷰를 AI에게 맡겨보는 사례를 공유했다.
진승범 부실장은 작업자들이 만든 공들인 결과물에 대해 같은 지적을 반복해야 하는 실무의 고충에서 이번 연구가 시작되었다고 밝혔다.
그는 이 발표가 실무에 즉각 도입되는 완성된 시스템 소개가 아니라, AI가 어디까지 가능하고 무엇을 더 준비해야 하는지를 확인하는 R&D 학습 기록에 가깝다고 설명했다.
▶ 진승범 넥슨게임즈 부실장.
# 냉정한 제3의 눈, 아트 리뷰 허브의 설계
진승범 부실장은 <퍼스트 디센던트>의 오픈 베타 테스트 제작 당시, 하루에도 12번씩 "애니메이션 튑니다"라는 피드백을 반복해야 했던 상황을 언급했다.
그는 팔꿈치나 무릎이 튀는 현상, 립싱크 타이밍, FX 밝기 등 기본적인 지적을 거듭하는 과정에서 처음에는 친절하게 말하다가도 세 번째는 말이 짧아지고, 12번째에는 웃는 게 웃는 게 아니게 된다며 실무에서의 구체적인 발화 맥락과 피로감을 설명했다.
이러한 반복 피드백은 작업자와 컨펌권자 모두에게 현실적인 비용을 발생시키며, 하루 종일 같은 장면을 보다 보면 오류조차 정상처럼 익숙해지는 감각 둔화 현상까지 초래한다.
진승범 부실장은 이를 해결하기 위해 작업에서 한 발 떨어져 냉정하게 오류를 지적해 줄 제3의 눈으로 AI를 주목하게 되었다고 전했다.
그는 실제 아트 리뷰 툴인 싱크스케치(SyncSketch)에 남겨진 피드백 134건을 분석한 결과, 60% 정도가 접지나 클리핑, 타이밍 등 객관적으로 확인 가능한 항목임을 확인했다.
이어 초기에 Gemini를 활용해 시네마틱 영상을 자유롭게 분석하도록 요청했을 때 9개 이슈를 카테고리별로 잘 잡아내는 것을 보고 가능성을 느꼈지만, 정작 '상체와 하체의 분리감이 어색하다'와 같이 수정 방향이 불분명한 결과는 실무 적용이 어렵다는 한계에 봉착했다.
진승범 부실장은 AI 분석 결과를 신뢰할 수 있는 구체적인 리뷰로 바꾸기 위해 플랫폼 형태의 ‘리뷰 허브’를 구축하기 시작했다.
리뷰 허브를 구성하며 가장 먼저 한 일은 애니메이션 관련 18개, FX 관련 12개 등 총 30개의 기준 코드를 정의하는 것이었다. 같은 문제를 두고 작업자마다 다르게 표현하는 것을 막고, 하나의 문제에 대해 공동의 키를 부여하여 데이터를 쌓기 위함이었다.
이 시스템에서 작업자가 완료 영상을 올리면 AI는 기준 코드에 따라 셀프 체크를 수행하고, 컨펌권자는 AI가 잡아낸 후보에 대해 동의 혹은 오탐 판정을 내린다.
이러한 결과는 코드별 스코어 카드로 누적되어 정밀도가 60% 이하로 떨어지는 기준은 자동 비활성화되도록 설계되었다.
# 영상에서 데이터로, 시행착오를 거친 기술적 진화
하지만 애니메이션 분석에서는 영상만으로는 해결하기 어려운 문제들이 발생했다.
FX는 최종 렌더 화면만으로도 충분한 판단이 가능했지만, 애니메이션은 3D 움직임이 2D 픽셀로 투영되는 과정에서 1~2프레임의 튐 현상을 놓치기 일쑤였다.
심지어 영상에 존재하지 않는 무기 조준이나 획득 같은 상황을 AI가 임의로 만들어내는 환각 현상까지 발생했다. 데이터 분석 시 관찰 근거보다 AI 자체의 학습 패턴이 앞서면서 생긴 한계였다.
진승범 부실장은 이를 보완하기 위해 오토데스크의 3D 데이터 교환 포맷인 FBX를 도입했다. 그는 FBX 내의 뼈대 움직임 데이터를 파이썬 스크립트로 JSON화하여 AI 모델에 학습시켰다.
개발 초기에는 AI가 FBX 수치에 과도하게 의존하여 영상 분석에 소극적이게 되는 시행착오를 겪기도 했다. 그러나 최종 버전인 v3에 이르러서는 FBX를 영상과 별개인 외부 기준이 아닌, 영상 내 캐릭터와 동일한 공간상의 3D 표현으로 재정의함으로써 분석의 정확도를 높였다.
또한 오류 현상을 단일 프레임 수치 변화가 아닌 앞뒤 흐름 전체의 맥락으로 파악하도록 하여 영상과 데이터의 유기적인 결합을 이뤄냈고, 손목이나 무릎 등 관절별 급변 구간을 그래프와 함께 시각화하는 결과까지 얻어냈다.
# 생성형 AI를 통한 시각적 가이드와 설계의 중요성
진승범 부실장은 텍스트 피드백의 해석적 모호함을 해결하기 위해 생성형 모델을 활용한 영상 가이드 방식을 도입했다.
FX의 소멸 타이밍이 어색할 때 적절한 소멸 속도의 이펙트 영상을 생성하거나, 캐릭터의 움직임이 가벼울 때 무게감이 실린 모션의 목각 인형 영상을 옆에 배치해 올바른 방향을 제시하는 식이다. 나아가 영상 위에 수정 개념을 오버레이하여 보여주는 방식까지 시도했다.
리뷰 허브 내부에서는 이미 분석된 맥락과 컨펌된 데이터가 생성의 입력값으로 바로 연동되기에, 복잡한 프롬프트 수정 없이도 즉각적인 가이드 생성이 가능하다는 장점이 있다.
진승범 부실장은 이러한 생성형 영상이 최종 퀄리티를 목표로 하는 결과물이 아니라, 작업자와 컨펌권자 사이의 커뮤니케이션을 돕는 참고용 교본임을 강조했다.
마지막으로 진승범 부실장은 AI 리뷰 R&D를 통해 얻은 핵심적인 결론을 공유했다. 단순히 정보량이 많다고 좋은 리뷰가 되는 것이 아니라, 무엇을 누가 어떻게 볼 것인지를 명확하게 설계하는 것이 선행되어야 한다는 점이다.
AI에게 일을 떠넘기는 것이 아니라, 그 시야와 역할, 표현 방식을 사람이 먼저 정립했을 때 비로소 반복되는 리뷰 지옥에서 벗어날 수 있다는 것이다.
진승범 부실장은 이번 연구가 시네마틱 리소스에만 국한되지 않으며, 명확한 기준 정의와 사람의 판단 영역 분리, 수정 방향의 가이드 제시가 가능한 모든 영역으로 확대 적용될 수 있음을 시사하며 발표를 마무리했다.
