“나를 배우는 AI”…KAIST, 초개인화 LLM 가속기 ‘소울메이트’ 공개

개인정보 유출 없는 온디바이스 AI

초저전력 9.8mW로 실시간 소통 가능

응답 지연 82.5% ↓·에너지 효율 76.2% ↑

사용자의 특성에 맞춰 스스로 학습하고 반응하는 개인 맞춤형 LLM 가속기 소울메이트(SoulMate) 데모 동영상 캡쳐 화면.ⓒKAIST

사용자의 말투와 감정, 취향까지 학습하는 초개인화 인공지능(AI) 반도체가 세계 최초로 개발됐다. 기존 거대언어모델(LLM)이 일반적 지식에는 능숙하지만 사용자 개인을 이해하지 못하는 한계를 넘어, 기기 내부에서 스스로 학습하며 진화하는 초개인화 AI 구현 가능성을 제시했다.

한국개발연구원(KAIST)은 인공지능반도체대학원 유회준 교수 연구팀이 사용자의 특성에 맞춰 스스로 학습하고 반응하는 개인 맞춤형 LLM 가속기 ‘소울메이트(SoulMate)’를 개발했다고 17일 밝혔다.

개인정보 유출…네트워크 환경 불확실성 한계

최근 챗GPT와 같은 LLM의 발전으로 AI 에이전트가 우리 생활의 필수 도구로 자리 잡았다.

LLM의 발전 속도 만큼, 사용자 역시 단순한 정보 검색을 넘어 개인의 성향, 과거 대화 문맥, 감정 상태 등을 이해하는 초개인화된 AI 서비스를 원하고 있다.

그러나 대부분의 시스템은 사용자의 세부적인 습관이나 대화 맥락을 장기적으로 기억하지 못하는 한계를 지니고 있다.

기술적으로도 개인화 LLM 구현에는 한계가 있었다. 기존의 고성능 LLM 시스템은 보통 100억개 이상의 파라미터와 8GB 이상의 대용량 메모리를 요구하며 단일 질문에도 1조번(1T) 이상의 연산이 필요하다.

이는 일반적인 모바일 하드웨어의 처리 능력을 수십 배 이상 초과하는 수치이다. 즉 대규모 연산을 위해 클라우드 서버에 의존하면서 개인정보 침해 가능성이 지속적으로 제기돼 왔다.

또 네트워크 환경에 따라 응답 속도 역시 크게 좌우된다는 고질적인 문제도 지니고 있다.

따라서 사용자만을 위한 AI를 실현하기 위해서는 개인정보를 기기 내부에 안전하게 보관하면서 실시간으로 사용자의 피드백을 학습하고 즉각적으로 반응할 수 있는 AI 반도체 전용 SoC 개발이 절실히 요구돼 왔다.

진정한 ‘온디바이스 개인화 AI’ 앞당겨

개인화된 AI 시스템 사진.ⓒKAIST

소울메이트는 클라우드를 거치지 않고 기기 내부에서 데이터를 처리하는 온디바이스(On-device) AI 반도체로 설계됐다.

이번 기술이 기존의 ‘모두를 위한 AI’를 넘어 사용자의 대화 스타일과 선호도를 학습해 반응하는 ‘나만을 위한 초개인화 AI’ 시대를 앞당길 핵심 반도체 기술로 평가되는 이유다.

소울메이트의 기능을 세부적으로 보면, 대화 기록을 기반으로 맞춤형 답변을 생성하는 검색증강생성(RAG) 기술과 사용자의 피드백을 반영해 모델을 학습하는 로우 랭크 미세조정(LoRA) 기술을 반도체 내부에 직접 구현한 것이 특징이다.

이를 통해 소울메이트는 사용자 질문에 약 0.2초 수준인 216.4ms 만에 응답하면서 동시에 개인화 학습을 수행하는 실시간 AI 시스템을 구현했다.

또 정보의 중요도에 따라 처리 방식을 달리하는 ‘혼합 랭크(Mixed-Rank) 아키텍처’를 적용해 전력 효율을 크게 높였다.

해당 반도체는 단 9.8밀리와트(mW)의 초저전력으로 복잡한 학습과 추론을 동시에 수행할 수 있어 스마트폰 프로세서 소비전력 대비 약 500분의 1 수준에서도 작동이 가능하다.

연구팀은 “소울메이트는 초저전력, 실시간 개인화 LLM 가속을 성공적으로 구현해 기존 온디바이스 AI 가속 시스템 대비 지연 시간은 최대 82.5% 단축하고 사용자 학습 에너지는 76.2% 절감하는 세계 최고 수준의 효율을 달성했다”고 밝혔다.

특히 모든 개인 데이터가 외부 서버로 전송되지 않고 기기 내부에서만 처리되는 ‘보안 완결형 AI’ 구조를 구현해 개인정보 보호 측면에서도 의미가 크다.

연구팀은 이 기술이 스마트폰, 웨어러블 기기, 개인형 AI 디바이스 등 차세대 플랫폼과 결합해 개인화 AI 서비스를 구현하는 핵심 기술로 활용될 것으로 기대하고 있다.

유회준 교수는 “이번 연구는 사람들이 서로 우정을 쌓아가는 과정을 모방해 AI가 사용자의 진정한 동반자로 발전할 수 있는 기술적 기반을 마련한 것”이라며 “미래 AI는 개인의 프라이버시를 완벽하게 보호하면서도 언제 어디서나 사용자를 가장 잘 이해하는 존재가 될 것”이라고 말했다.

연구팀은 교원 창업기업 ‘온뉴로AI’를 통해 소울메이트 반도체를 내년 상용화할 예정이다.