온마인드, 버추얼 휴먼 기술로 SK나이츠 개막전 장식

버추얼 휴먼 기술 적용…디지털 트윈·실시간 렌더링 기술

온마인드 나수아, 명예 치어리더로 KBL 데뷔

서울 SK 나이츠 선수단.ⓒSKT

버추얼 휴먼 기술을 통해 기사단의 모습으로 재현된 서울SK나이츠 선수들과 코치진에 대해 개막전 만원 관중의 이목이 집중됐다.

SK텔레콤은 버추얼 휴먼 전문기업 온마인드와 협업해 전희철 감독 및 코치단, 김선형, 오세근, 허일영 등 선수 전원을 포함한 총 22인을 버추얼 휴먼으로 재현하고 지난 22일 서울 잠실학생체육관에서 열린 홈 개막전에서 다양한 볼거리를 선보였다고 23일 밝혔다.

홈 개막전 시작을 알린 영상에는 서울SK나이츠 농구단이 중세 판타지 세계에서 철갑옷을 두른 무적의 기사단으로 등장했다. 영상 속 선수들은 비장한 표정과 승리에 대한 의지로 가득한 모습을 보여주며 새로운 시즌에 대한 팬들의 기대감을 고조시켰다.

이번 시즌 서울SK나이츠의 명예 치어리더로 선정된 온마인드의 버추얼 휴먼 나수아도 멋진 치어리딩 무대로 경기장의 분위기를 달궜다. 승기를 잡은 4쿼터 작전시간 경기장 디스플레이에 등장해 서울SK나이츠 치어리더팀과 함께 응원가 ‘질풍가도’에 맞춰 깔끔한 칼 군무를 선보여 관객들로부터 뜨거운 박수를 받았다.

4쿼터 작전시간. 온마인드의 버추얼 휴먼 나수아(상단 디스플레이)가 경기장 디스플레이에 등장해 서울SK나이츠 치어리더팀과 함께 응원하고 있다.ⓒSKT

홈 개막전 인트로 및 나수아 치어리딩 영상은 추후 온마인드 SNS 채널과 서울SK나이츠의 SNS 채널 등에서 확인할 수 있다.

온마인드는 이번 행사 영상 속 농구단 개개인의 얼굴 개성을 살리고 실제 같은 표정을 구현하기 위해 디지털 트윈(Digital Twin) 기술을 활용했다. 디지털 트윈은 현실세계의 기계나 장비, 사물 등을 디지털 데이터 모델로 복제해 가상세계에 구현하는 것으로 온마인드는 그중 사람을 가상세계로 복제하는 기술에 주력하고 있다.

농구단의 디지털 트윈에는 3D 스캔 장비인 ‘포토그래메트리(Photogrammetry)’가 활용했다. 포토그래메트리는 다수의 카메라로 촬영된 고품질 이미지 데이터를 기반으로 프로그램이 공간을 재구성하고 좌푯값을 생성해 폴리곤(Polygon)* 데이터로 만들어주는 장비다.

고화질의 3D 스캔 데이터를 쉽고 빠르게 얻기 위해 온마인드의 기술자들이 카메라 129대와 조명 50대를 사용해 직접 커스터마이징했으며, 이를 통해 버추얼 농구단의 얼굴 골격·홍채·눈물샘·피부 솜털·주름 등을 섬세하게 구현해 내 실사감을 높였다.

검을 휘두르거나 적진을 향해 달려가는 장면 등 인트로 영상 속 선수들의 역동적인 동작과 나수아의 치어리딩 무대에는 3D 엔진을 활용한 ‘실시간 렌더링(Real-Time Rendering)’ 기술이 적용됐다.

퍼포머의 움직임을 캡처해 3D 캐릭터에 적용한 후, 실시간 렌더링 환경에서 배경 및 각종 효과들을 적용해 원하는 씬으로 구현한 것으로, 별도의 영상 합성이나 후처리 렌더링이 필요 없어 더욱 빠르고 쉽게 높은 수준의 3D 영상을 구현할 수 있다.

온마인드는 실시간 렌더링을 기반으로 한 버추얼 휴먼 라이브 콘텐츠 서비스를 준비 중이다. 유저들과 실시간 소통하며 팬덤을 구축하고 더 나아가 수익까지 창출할 수 있는 새로운 비즈니스 모델이 될 것으로 기대하고 있다.

또한 최신 AI 기술을 접목해 스스로 말하고 행동하는 AI 버추얼 휴먼 개발에도 속도를 내고 있으며, 오는 11월 17일 SK TECH SUMMIT을 통해 ‘AI를 품은 FULL 3D 버추얼 휴먼’을 주제로 첫 선을 보일 예정이다.

SK텔레콤은 온마인드와 꾸준한 협력 관계를 유지해오고 있다. 2021년 11월 SK스퀘어가 온마인드에 80억원을 투자한 이후, SK텔레콤도 지난해 온마인드와 업무협약을 맺고 나수아 AI 보이스를 제작해 ‘A.‘모델에 나수아를 발탁한 바 있다. 올해 7월에는 온마인드 버추얼 휴먼 기술을 활용해 SK텔레콤·하나금융그룹의 AI LAB 포 스타트업 홍보 영상을 제작했고, 8월 온마인드를 K-AI 얼라이언스 멤버로 선정했다.