대형 LLM 중심 구조 흔들…소형 모델·엣지 AI 부상[AI 7대 트렌드④]

엣지 AI, 특정 목적에 최적화 기능

클라우드 AI서 온디바이스 AI로 변화

온디바이스 AI, sLLM으로 처리

개인정보 보호…도메인 시스템서 주목

최근 AI 시장이 초거대 모델 중심에서 소형 모델로 변화하고 있다.ⓒ데일리안 AI 이미지 삽화

거대언어모델(LLM) 중심의 인공지능(AI) 시장이 변화 기로에 섰다. 초거대 모델 중심의 구조에서 특정 목적에 최적화된 소형 모델, 엣지(Edge) AI가 빠르게 확산하고 있기 때문이다.

스마트폰, 로봇 등 디바이스 자체적으로 실시간 AI 추론을 할 수 있는 기술이 발전하면서 클라우드에 의존하던 AI 구조도 점차 디바이스 중심으로 이동하고 있다.

이 같은 변화는 지연시간·비용 문제를 줄이고 보안은 강화해 스마트 팩토리, 도메인 시스템 등에서 주목받고 있다.

sLLM 부상…매개변수 줄여 최적의 결과물 선보여

2025 이화 잡페어에서 한 학생이 챗지피티에 기업 정보를 검색하고 있다.ⓒ뉴시스

경량화 언어 모델(sLLM)이 부상하고 있다. sLLM은 매개변수(파라미터)를 크게 줄여 효율성을 극대화한 형태다. 특정 영역에서 높은 성능을 보인다는 점에서 수천억 개의 매개변수를 가진 LLM과 차이를 보인다.

그간 AI 업계의 화두가 ‘얼마나 큰 모델’이었느냐였다면 이제는 ‘얼마나 가볍고 영리한가’에 초점을 맞추고 있다.

기업들이 sLLM에 열광하는 가장 큰 이유는 이 같은 경제성이다. 수천억 개의 파라미터를 가진 LLM을 운영하려면 막대한 그래픽처리장치(GPU) 자원과 전력이 소모된다.

반면, 특정 기업의 내부 데이터나 법률, 의료, 금융 등 특정 도메인에 특화된 sLLM은 상대적으로 적은 비용으로도 최적의 결과물을 내놓는다.

sLLM, 온디바이스AI 확산 촉발

이러한 sLLM은 AI의 기능 수행 방식에도 변화를 가져왔다. 즉 ‘클라우드 AI’를 ‘온디바이스 AI’로 전환하는데 영향을 준 것이다.

온디바이스 AI의 등장 이전에는 AI가 기능을 수행하기 위해 데이터를 클라우드(외부 서버)로 보내고, 다시 받는 과정이 필수적이었다.

그러나 스마트폰의 기능과 PC 내 신경망처리장치(NPU) 성능이 비약적으로 발전하면서 기기 스스로 데이터를 처리하는 시대가 도래한 것이다.

클라우드AI와 온디바이스AI는 연산 장소는 물론, 인터넷 연결 유무에서도 차이를 보인다. 클라우드AI의 경우 인터넷 연결없이 작동이 불가하다. 온디바이스AI는 사용자의 스마트폰이나 PC 등의 기기에 정보가 탑재돼 있어 오프라인에서도 작동할 수 있다.

또 즉각성·보안성에서 뚜렷한 장점을 보인다. 인터넷 연결이 없는 환경에서도 실시간 통번역이나 이미지 생성이 가능한 것과 더불어 개인정보나 기업의 기밀 데이터가 외부 서버로 유출될 걱정이 없다.

이러한 특성은 개인 맞춤형 서비스는 물론, 높은 보안 수준을 요구하는 B2B(기업 간 거래) 시장에서 강력한 경쟁력이 된다.

유회준 카이스트 AI반도체대학원 교수는 “온디바이스는 용량이 굉장히 작아 LLM이 담을 수 없다. 이는 sLLM으로 처리할 수밖에 없다”며 “요즘 개인정보가 상당히 민감한데 온디바이스의 경우 도메인 특화 언어 모델(DSLM), 애플리케이션 스페시픽 등 회사 내에서만 사용하거나 특정한 목적으로 쓸 시 유리하다”고 설명했다.

스마트 팩토리, 피지컬AI…산업 현장 ‘게임체인저’

지난해 서울 강남구 코엑스에서 열린 한국전자제조산업전X오토모티브월드코리아에서 관람객들이 전자제조, 스마트팩토리, 자동차 산업과 관련된 장비들을 관람하고 있다.ⓒ뉴시스

이는 AI 도입을 망설이던 중견·중소기업들에게 실질적인 솔루션을 제공하며 ‘AI 대중화’를 가속화하고 있다. 소형·엣지 AI의 확산이 산업 현장의 풍경을 바꾸고 있는 까닭이다.

특히 스마트 팩토리와 자율주행 로봇 분야에서의 활약이 두드러진다. 0.1초의 지연시간(Latency)도 허용되지 않는 제조 공정에서 클라우드를 거치지 않는 실시간 AI 추론은 필수적이다.

현장의 엣지 기기가 불량을 즉각 탐지하고 로봇의 움직임을 제어함으로써 생산 효율성을 극대화한다.

또 특정 산업 분야에 최적화된 도메인 특화 시스템 구축도 활발하다. 의료 분야에서는 환자의 민감 정보를 병원 내부 서버 내에서만 처리하는 엣지 AI 기반 진단 보조 시스템이 도입되고 있으며 법률·회계 분야에서도 폐쇄형 네트워크 안에서 작동하는 AI 비서 서비스가 주목받고 있다.

한국지능정보사회진흥원(NIA)이 지난해 발표한 ‘2026년 12대 AI·디지털 트렌드’ 보고서에 따르면 온디바이스 AI의 시장 규모는 오는 2031년 1181억 달러(177조791억원)에 육박한다. 이는 지난 2023년(16.6십억 달러) 기준 연평균 성장률 27.9% 수준이다.

NIA는 보고서를 통해 “AI가 스스로 판단하고 행동하는 에이전틱AI 시대로 진입하며, 사회는 초개인화, 초연결, 초지능을 중심으로 재편될 것”이라고 전망했다.

그러면서 “정체됐던 스마트폰 시장이 생성형 AI를 탑재한 차세대 스마트폰·AI PC 등장으로 고속 성장 단계에 재진입했다”고 덧붙였다.

NIA는 온디바이스 AI를 통해 초개인화 시대가 빠르게 이뤄질 것으로 예상했다. NIA는 “AI 모델의 경량화, AI 전용 칩의 기술적 발전으로 소규모 기기에서 대규모 AI 모델 구현이 가능하다”며 “IoT·엣지 디바이스에 AI 기능 내재화, 사용자 경험이 전방위적으로 초개인화되며 새로운 시장 창출을 확대할 것”이라고 했다.