넷마블, ‘시그라프 2019’서 차세대 AI 그래픽 기술 발표

다중작업 방식 음성 기반 얼굴 애니메이션

“음성 입력 시 입술 움직임 동기화 뛰어나”

안수남 넷마블 AI센터 팀장이 지난달 28일(현지시간)부터 지난 1일까지 미국 로스앤젤레스(LA)에서 열린 ‘시그라프 2019’에서 참석자들에게 인공지능(AI) 기반 차세대 그래픽 기술을 설명하고 있다.ⓒ넷마블

다중작업 방식 음성 기반 얼굴 애니메이션
“음성 입력 시 입술 움직임 동기화 뛰어나”

넷마블은 지난달 28일(현지시간)부터 지난 1일까지 미국 로스앤젤레스(LA)에서 개최된 ‘시그라프 2019’에서 인공지능(AI) 기반 차세대 그래픽 기술을 발표했다고 5일 밝혔다.

안수남 넷마블 AI센터 팀장은 음성에 맞춰 자연스러운 얼굴 애니메이션을 자동으로 생성할 수 있는 ‘다중작업 방식 음성 기반 얼굴 애니메이션 MTADFA(Multi-Task Audio-Driven Facial Animation)’ 기술이 담긴 논문을 발표했다.

MTADFA는 넷마블이 자체적으로 개발한 딥 뉴럴 네트워크인 멀타넷(MulTaNet·Multi-Task Deep neural Networks)을 활용한다. 실험 데이터에서 제공하는 14명의 서로 다른 캐릭터의 음성-얼굴 애니메이션을 동시에 학습하며, 이를 활용해 더 많은 캐릭터의 얼굴 애니메이션을 확장 생성할 수 있다는 것이 특징이다.

안 팀장은 “인공지능이 자동으로 얼굴 애니메이션을 생성하기 위해서는 먼저 음성과 애니메이션이 짝지어진 예시를 보며 학습하는 과정이 필요하다”며 “MTADFA는 인공지능이 더욱 다양한 예시를 학습할 수 있도록 해 기존 대비 더욱 자연스럽고 안정적인 애니메이션을 생성할 수 있다”고 말했다.

이 기술을 통해 새로운 언어 음성을 입력할 경우 입술 움직임을 동기화하는 능력이 뛰어나 다국어 지원 게임 개발 시 활용도가 높다는 설명이다. 넷마블은 향후 자사의 게임 등에 우선적으로 이 기술을 적용해나갈 계획이다.

오인수 넷마블 AI센터 실장은 “음성 입력에 맞춰 자연스러운 얼굴 애니메이션을 자동 생성해주는 기술을 개발해 이용자에게 더 높은 생동감과 몰입감을 제공하는 모바일 게임을 개발할 수 있을 것으로 기대한다”며 “많은 시간과 노력이 필요한 애니메이션 등 아트 제작 과정도 자동화할 수 있어 개발 효율성이 더욱 향상될 것”이라고 강조했다.