과기부 장관이 금융 규제를?…시급한 거버넌스 구축 [방향타 없는 금융AI②]

"금융 AI, 금융당국이 규제해야"

설계·성능시험·모니터링·사후 처리 등

'AI 라이프사이클' 고려 거버넌스 필요

인공지능(AI) 파급력이 날로 커지는 가운데 금융업계에선 AI가 투자 문법을 송두리째 바꿀 거란 관측이 힘을 얻고 있다. 해외에선 AI를 전면에 내세운 금융 서비스들이 저변을 넓혀가고 있지만, 국내에선 규제 등의 여파로 속도를 내지 못하는 모양새다. 자율성을 기반으로 하는 AI 서비스에 대한 실효적 규율 방안, AI 서비스가 금융 생태계에 미칠 영향과 관련한 정책 과제 등을 살펴본다. [편집자주]

지난 7월 미국 워싱턴의 앤드류 W. 멜론 강당에서 열린 '인공지능 정상회의(AI summit)'에서 도널드 트럼프 대통령이 연설하는 그림자가 배경에 드리워져 있다(자료사진). ⓒAP/뉴시스

정부가 AI 육성을 강조하며 150조원 규모의 국민성장펀드 조성까지 예고한 상황이지만, 현장에선 AI 거버넌스 부재로 인한 우려가 제기되고 있다.

특히 내년 시행되는 AI 기본법에 따라 과학기술정보통신부 장관이 금융 AI 규제 권한을 갖게 되는 만큼, 제도적 정비가 필요하다는 지적이다.

내년 1월 22일 시행되는 AI 기본법은 '사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 인공지능시스템'을 '고영향 AI'로 정의하고 있다. 고영향 AI로 분류될 경우, 별도의 안전성과 신뢰성을 확보해야 한다.

구체적으론 에너지, 먹는 물, 의료, 원자력, 교통, 교육 등의 분야가 고영향 AI 범주에 속한다. '대출 심사 등 개인의 권리·의무 관계에 중대한 영향을 미치는 판단 또는 평가' 역시 포함돼 있으나, 법 조문상 '금융'이란 단어는 찾아볼 수 없다.

문제는 고영향 AI에 대한 판단, 안정성·신뢰성 확보 방안 등의 권한이 과기부 장관에게 부여돼 있다는 점이다.

김시목 법무법인 율촌 변호사는 "AI 기본법에 따르면, 고영향 AI에 대한 판단과 금융회사들이 안전성·신뢰성 확보를 어떻게 해야 하는지에 대한 법적 권한을 과기부가 가지고 있다"며 "금융위원회나 금융감독원에는 권한이 부여되지 않았다"고 말했다.

그러면서 "금융 분야에 대한 AI 규제를 과기부가 아닌 금융당국이 할 수 있는 제도 개선을 고민해야 할 필요가 있다"고 덧붙였다.

지난 2024년 미국 라스베이거스에서 열린 CES의 삼성관에서 모두를 위한 AI(AI for All)이라는 문구가 화면에 표출되고 있다(자료사진). ⓒAP/뉴시스

자율성을 갖는 AI 특성을 감안해 서비스 설계에서 시험, 사용, 사후 처리에 이르는 '라이프 사이클'을 고려한 거버넌스가 필요하다는 지적도 나온다.

김진숙 한국 딜로이트그룹 파트너는 "AI 서비스가 시장에서 빠르게 적용될 것으로 예상되는 가운데 가장 중요한 리스크는 자율성"이라며 "(AI는) 우리가 룰과 조건을 줘서 그대로 행동하는 게 아니다. 추론 모델은 데이터 학습을 기반으로 의사결정까지 할 수 있다"고 말했다.

김 파트너는 "국내외 조사에 따르면, AI 서비스를 원래 의도대로 시행하지 못하고 실패하는 케이스가 90% 이상"이라며 "다양한 이유가 있지만, 꼭 추가되는 부분이 AI 거버넌스가 제대로 수립되지 않았다는 점"이라고 강조했다.

통상 AI 거버넌스를 규제 방안이라고 생각하기 쉽지만, 서비스 설계에서 시행까지, 심지어 사용 중단 등에 이르는 단계별 위험 요인들을 염두에 둘 필요가 있다는 설명이다.

김 파트너는 "제일 중요한 부분은 AI 서비스의 처음부터 끝까지, 라이프 사이클 단위로 각각의 리스크가 존재한다는 점"이라며 "AI 거버넌스는 미니멀하게(최소한으로) 가져가야 하는 것이 아니라 설계 단계부터 잘 챙겨야 하는 중요한 부분"이라고 말했다.

실제로 업계에선 AI 서비스의 성능 테스트 및 모니터링 체계와 관련한 거버넌스를 요구하는 목소리가 제기되고 있다.

일례로 과거 IT 시스템은 정형화된 데이터를 입력값으로 제공하면 정해진 연산 과정을 거쳐 오류 없는 결괏값을 내놨다. 하지만 AI 시스템은 입력값에 사실상 제한이 없고, 결괏값의 신뢰성도 확실히 담보되지 않는다. 개별 기업 수준에서 서비스 성능을 평가하고 모니터링하는 것이 쉽지 않은 이유다.

진정혁 미래에셋증권 AI사이언스팀장은 "실무적 관점에서 관심 있게 보고 있는 부분은 테스트와 성능 모니터링"이라며 "AI 거버넌스 부분에서 제도 등을 도입해 테스트 및 성능 모니터링을 체계화할 수 있다면 비즈니스 진행에 굉장히 도움이 되지 않을까 한다"고 말했다.

▲<원화 스테이블코인, 선택 아닌 필수인 이유 [방향타 없는 금융AI③]>에서 이어집니다.