환각 줄인다…RAG 기반 ‘사실성 AI’ 확산[AI 7대 트렌드⑥]

RAG 기술, 표준 아키텍처로 급부상

사내 DB 기반 ‘신뢰형 AI’ 구축 열풍

법률·의료 등 전문 영역 확산…‘AX’ 가속화

AI 환각 문제가 대두되고 있는 가운데 검색 증강 생성(RAG)이 표준 아키텍처로 부상하고 있다.ⓒ데일리안 AI 이미지 삽화

검색 증강 생성(RAG)을 기반으로 한 ‘사실성 인공지능(AI)’가 확산하고 있다. RAG 기술이 표준 아키텍처로 급부상하고 있기 때문이다.

이같은 RAG 기술은 생성형 AI가 그럴듯한 문장으로 거짓 정보를 내뱉는 이른바 ‘환각(Hallucination) 현상’을 줄여주고, 사내 DB 기반 신뢰형 AI를 구축하는 데 도움을 준다.

실시간 데이터 검색과 생성을 결합한 RAG가 법률·의료·행정 등 전문 영역으로 나아가면서 인공지능 대전환(AX)이 빠르게 실현되고 있다.

전문성과 창의성 사이 AI 환각 현상

반면 최근 생성형 AI에 대한 아쉬움이 커지고 있다. 생성형 AI 기능이 발전했다고 하지만, 환각 현상은 좀처럼 개선되지 않고 있기 때문이다.

AI 환각 현상은 AI가 실제 존재하지 않는 정보를 마치 사실인 것처럼 말하는 것을 말한다. 이러한 현상은 거대언어모델(LMM)이 이전에 입력된 문장을 우선 생성해 발생한다.

유회준 카이스트 AI반도체대학원 교수는 “AI는 질문자의 말에 무조건 답을 하게 되어 있다. 앞 문항을 보고, 그 다음 문항을 확률적으로 만들어내는 것”이라며 “할루시네이션은 생길 수밖에 없다”고 설명했다.

환각 현상은 신뢰성과 창의성 사이에서 양면성을 띠고 있다. 법률, 의료 등 전문 분야에서는 부정적인 영향을 미칠 가능성이 나오고 있다.

한국지능정보사회진흥원(NIA)은 ‘AI 환각 : 위험 관리와 창의적 활용을 위한 정책 대응 전략’ 보고서를 통해 “환각은 AI의 신뢰성 측면에서 단순한 오류가 아닌 법률, 의료 등 다양한 분야에서의 개인의 권익 침해, 공공 신뢰 훼손 등 사회 전반에 부정적인 영향을 미칠 가능성이 있다”고 말했다.

반면, 예술과 디자인, 문학 창작 분야에서는 AI 환각 현상이 사실을 넘어서는 창의적 발상과 혁신적 창출의 원천으로 활용될 수 있다고 평가했다.

NIA는 “AI 환각이 사회적 신뢰의 위협과 창의의 원천이라는 양면성을 지닌 만큼, 사회적 신뢰 보호와 창의성 증진을 동시에 달성할 수 있는 정책적 대응이 요구되고 있다”고 밝혔다.

LLM 한계 극복…주요 기업들 AI 도입 전략 바꿔

서울 시내 대형서점에 진열된 챗GPT 관련 도서.ⓒ뉴시스

AI 환각 현상은 RAG 등장으로 변화를 마주하고 있다.

RAG는 LLM이 가진 지식의 한계를 극복하기 위해 답변을 하기 전 외부의 신뢰할 수 있는 데이터를 찾아본 후 해당 내용을 바탕으로 답변을 생성하는 방식이다.

즉, 과거의 생성형 AI가 학습된 데이터 안에서만 답을 찾으려 했다면 RAG는 질문이 들어오는 즉시 관련 있는 최신 정보를 외부나 내부 데이터베이스(DB)에서 찾아낸 뒤 이를 바탕으로 답변을 생성하는 것이다.

챗GPT나 제미나이와 같은 LLM이 똑똑한 두뇌라면, RAG는 두뇌가 참고할 수 있는 ‘최신 백과사전’을 실시간으로 펼쳐주는 격이다.

이같은 RAG가 표준 아키텍처로 자리 잡으면서 기업들의 AI 도입 전략도 점차 바뀌고 있다. 불확실한 외부 인터넷 정보에 의존하는 대신, 기업 내부의 고유 데이터에 기반한 신뢰형 AI를 구축하기 시작한 것이다.

NIA에 따르면 Open AI는 ‘확신에 찬 오답’에는 더 큰 감점을 주고, ‘모른다’는 겸손한 답변에는 부분점수를 부여하는 방식으로 평가 기준을 개편했다.

마이크로소프트(Microsoft)는 AI 환각 현상이나 잘못된 응답을 줄이거나 방지할 수 있는 기술적 방법에 대한 특허 ‘외부 지식과 피드백을 활용한 언어모델 상호작용’을 출원했다.

앤트로픽(Anthropic)의 경우 클로드 모델의 사용자가 스스로 환각을 최소화할 수 있도록 AI 환각 최소화 가이드라인을 제공하기로 했다.

보안과 정확성이라는 두 마리 토끼를 잡아야 하는 기업들에게 거부할 수 없는 선택지가 되고 있다.

법률·의료·행정…전문 영역 점령

지난 18일 경기 수원시 영통구 수원컨벤션센터에서 열린 제57기 삼성전자 정기주주총회에서 주주들이 인공지능(AI) 탑재 엑스레이 의료기기를 보고 있다.ⓒ뉴시스

RAG 기술의 도입으로 가장 극적인 변화를 맞이한 곳은 고도의 정확성이 요구되는 전문 영역이다.

법률 서비스는 수만 건의 판례와 법령집을 RAG 시스템에 연동함으로써, 변호사들은 단 몇 초 만에 관련 법리를 검토하고 의견서 초안을 작성한다.

단순 키워드 검색을 넘어 맥락을 이해한 답변이 가능해지면서 업무 효율이 상당부분 향상됐다는 평가다.

의료 현장의 경우 환자의 차트와 최신 의학 논문을 실시간으로 대조해 진단을 보조한다. AI가 자의적으로 판단하는 것이 아니라, 명확한 의학적 근거(Evidence)를 제시하며 협진하는 구조가 정착되고 있다.

공공 행정은 복잡한 법령과 민원 매뉴얼을 학습한 AI가 행정 공무원의 업무를 돕는다. 정책 수립 과정에서 수천 페이지에 달하는 과거 사례를 분석해 정책적 함의를 도출하는 일도 이제 AI의 몫이다.

더불어 산업 전반에 걸친 AX의 흐름도 모델 경쟁에서 데이터 활용 경쟁으로 옮겨가고 있다. 기업들은 문서 데이터를 AI가 읽기 좋은 형태로 구조화하는 ‘데이터 거버넌스’ 구축에 사활을 걸고 있다.

정부 역시 이러한 흐름에 발맞춰 AI 신뢰성 확보를 위한 가이드라인 마련과 더불어, 중소·중견기업의 AI 도입을 돕기 위한 정책적 지원을 강화하고 있다.

정부는 “대한민국이 글로벌 AI G3로 도약하기 위해서는 민간 부문의 AX 가속화가 필수적”이라며 “신뢰할 수 있는 AI 환경 조성을 위해 규제 혁신과 인프라 지원을 병행하겠다”고 밝혔다.

▲<AI인프라 전쟁…반도체까지 국가 경쟁력 이슈로[AI 7대 트렌드⑦]>에서 이어집니다.