현실처럼 움직이는 아바타…KAIST, ‘MPMAvatar’ 공개

물리 법칙 이해하는 3D 생성형 AI 개발

김태균 교수팀, 물리 시뮬레이션 기반 ‘Physical AI’ 구현

NeurIPS 국제학회서 발표…코드 공개 예정

왼쪽부터 이지현 박사과정, 김태균 교수, 이창민 석사과정 ⓒKAIST

KAIST(총장 이광형) 전산학부 김태균 교수 연구팀이 3차원 공간에서 물리 법칙을 스스로 학습해 실제와 같은 움직임을 재현하는 3D 생성형 AI 모델 ‘MPMAvatar’를 개발했다.

이번 연구 성과는 인공지능이 단순히 이미지를 ‘그럴듯하게’ 그리는 단계를 넘어, 물체의 움직임과 상호작용 원리를 이해하고 재현하는 ‘물리 기반 AI(Physical AI)’로의 도약을 의미한다.

연구팀은 다중 시점에서 촬영된 영상을 입체적으로 재구성하는 ‘가우시안 스플래팅(Gaussian Splatting)’ 기술과 물리 시뮬레이션 기법인 ‘MPM(Material Point Method)’을 결합했다. 이 접근법으로 AI가 물체의 재질, 형태, 외부 힘에 따른 변형과 움직임을 물리 법칙에 근거해 학습하도록 구현했다.

MPMAvatar는 3차원 공간을 점(포인트) 단위로 쪼개어 표현하고, 각 점에 물리적 특성을 부여해 실제처럼 움직이고 변형되도록 한다.

이를 통해 옷의 주름, 천의 흔들림, 물체의 충돌 등 현실적인 세부 움직임을 정밀하게 재현한다. 연구팀은 특히 새로운 충돌 처리(collision handling) 기술을 적용해 얇거나 복잡한 구조의 물체도 물리적으로 자연스러운 형태로 표현하는 데 성공했다.

이번 모델은 학습 과정에서 본 적 없는 상황도 스스로 예측해 처리하는 ‘제로샷(Zero-shot)’ 생성 능력도 보여줘다. 사람의 느슨한 옷이나 움직임뿐 아니라 강체, 유체, 변형 가능한 물체 등 다양한 물리적 환경에서 적용 가능하다.

연구진은 가상 프로덕션, 영화, 게임, 숏폼 콘텐츠 등 실감형 미디어 산업 전반에서 활용도가 높을 것으로 기대하고 있다.

김태균 교수는 “AI가 세계를 단지 묘사하는 수준을 넘어, 왜 그렇게 움직이고 변형되는지를 이해할 수 있도록 설계한 기술”이라며 “이는 인공지능이 AGI(범용 인공지능)로 발전하는 과정에서 중요한 전환점이 될 것”이라고 밝혔다.

이번 연구는 KAIST 김재철AI대학원 이창민 석사과정 학생이 제1저자로, 전산학부 이지현 박사과정 학생이 공저자로 참여했다. 연구 결과는 오는 12월 열리는 인공지능 분야 최고 권위 국제학회 ‘NeurIPS 2025’에서 발표된다. 프로그램 코드는 공개될 예정이다.