오픈AI "한국어 토큰 수 개선·스타트업 협업 강화"
네이버·카카오 챗봇 AI서비스 위협 존재로 부상
'챗GPT' 개발사 오픈 AI가 한국 시장 경쟁력 강화를 예고하자 생성형 AI 업계에 긴장감이 흐르고 있다. 자체 개발 서비스를 선보이기도 전에 국내 AI 산업 생태계가 글로벌 사업자에 장악 당할 상황에 놓였기 때문이다.
12일 업계에 따르면, 샘 알트만과 그렉 브록만 오픈AI 공동 창업자는 최근 방한에서 챗GPT 내 한국어 토큰 개수 개선과 한국 사무소 설립 여부, 한국 스타트업과 협력 등을 언급했다. 구체적인 내용은 밝히지 않았지만 큰 틀에서 한국 시장 경쟁력을 강화겠다는 의지를 내비쳤다.
업계에서는 특히 '한국어 토큰 개선'을 언급했다는 점에서 눈길을 끌고 있다. 토큰 개수는 언어 처리의 기본 단위를 의미하는데, 그간 챗GPT API를 활용해 한국어 서비스를 하는 업체들은 영어 서비스 제공 업체보다 많은 비용을 부담해 왔다.
그 이유는 토큰 소모 개수 때문이다. GPT-3.5 기준 16개 문자를 영어로 처리하는데 드는 토큰 수는 '7개'인 반면, 한국어는 '36개'에 달한다. 한글 답변 시 5배 이상의 비용이 발생한다는 뜻이다. 현재 GPT-4에서 일부 토큰 개선이 이뤄진 것으로 알려졌지만 여전히 영어 대비 한국어 토큰 소비량은 많은 편이다.
실제 국내 챗봇 AI 서비스 '아숙업(AskUp)'을 운영하는 업스테이지의 김성훈 대표는 이러한 문제를 직접 샘 알트먼 CEO에게 전달했다. 그는 지난 9일 샘알트먼 CEO와 프라이빗 미팅에서 "토큰 비용의 비효율성'을 전달했고 샘 알트먼은 "가격을 내리려고 하고 있고, 서버사이드에서 맥락을 처리하는 등의 방법을 찾고 있다"고 답했다.
만약 한국어 토큰 개선이 이뤄질 경우, 스타트업들에게는 호재로 작용할 수 있다. 토큰 지출 비용을 아껴, 자사 서비스 개선이나 리소스·인력 확보로 사용할 수 있기 때문이다. 오픈AI 입장에서도 국내에서 챗GPT 영향력을 더 키울 수 있다.
반면 이런 분위기 국내 생성형 AI 서비스를 준비 중인 기업들에게는 악재로도 작용할 수 있다. 각사가 개발한 특화 서비스 확장이나, 사업 확대에 혹시 모를 어려움이 생길 수 있기 때문이다.
이같은 문제는 국내 업계에서도 인식하고 있다. 앞서 성낙호 네이버클라우드 하이퍼스케일 AI 기술 총괄 담당 이사는 지난달 31일 열린 '제너러티브 AI 아시아 2023' 컨퍼런스에서 "우리가 좋은 AI를 갖고 있지 않으면 외산 AI를 쓰게 될 것"이라며 "외산 AI를 쓰면 해외 기업들에게 일정 수준 비용을 계속 지불해야 하며 이렇게 될 경우 'AI 식민지'가 된다"고 했다.
현재 '한국어 데이터'로 초거대 AI를 개발하는 대표 사업자는 네이버와 카카오다. 이들은 현재 네이버는 올해 3월 'GPT-4'에 준하는 초거대 AI '하이퍼클로바X'를 오는 7월 공개하고, 이를 기반으로 한 '서치GPT(가칭)'를 출시할 계획이다.
카카오 역시 AI 전문 자회사 카카오브레인을 통해 AI 모델 '코(Ko)-GPT'의 개선 버전인 '코-GPT2.0'을 준비 중이다. 카카오는 이르면 올해 3분기 나올 코-GPT2.0을 토대로 한 한국어 특화 AI 챗봇 '코 챗 GPT'를 내놓을 예정이다.
업계 한 관계자는 "오픈AI가 한국어 토큰 개수를 개선하겠다고 밝히긴 했으나, 시점이 불분명하다"면서 "언젠가는 이뤄지겠지만, 단기간에 이뤄질지는 미지수"라고 했다.