AI 보안 역량 측정 기준 만든다…금융보안원, FSKU 연구 국제무대 발표

전자금융 규정 기반 ‘FSKU’ 구축…AI의 금융보안 지식 정확도 측정

LLM·RAG 활용해 데이터 검증…법규 수치·용어 해석 한계도 확인

금융 AI Challenge에 적용…향후 금융회사 모델 평가 지표로 확대

금융보안원은 11월 싱가포르에서 열린 국제학회 ICAIF 2025에서 ‘AI 모델의 금융보안 지식 측정을 위한 벤치마크 연구’ 결과를 발표했다고 25일 밝혔다. ⓒ금융보안원

금융보안원은 11월 싱가포르에서 열린 국제학회 ICAIF 2025에서 ‘AI 모델의 금융보안 지식 측정을 위한 벤치마크 연구’ 결과를 발표했다고 25일 밝혔다.

ICAIF는 컴퓨터 과학 분야 세계 1위 학회인 ACM이 운영하는 금융 AI 분야 최고 권위 학회다.

금융보안원 AI혁신실 연구진은 금융보안 분야에서 AI의 신뢰성을 객관적으로 측정할 기준이 미비하다는 문제의식 아래 금융보안 지식 이해도를 평가하는 벤치마크 ‘FSKU(Financial Security Knowledge Understanding)’를 구축했다.

전자금융법령과 규정, 금융보안 교육자료 등 신뢰 가능한 문서를 기반으로 금융보안 도메인에 특화된 문제를 구성한 것이 특징이다.

연구진은 최신 대형언어모델(LLM)과 검색증강생성(RAG) 기술을 활용해 벤치마크 데이터를 대량으로 생성한 뒤, 보안 전문가가 직접 검증하는 human-in-the-loop 방식을 적용해 데이터 품질과 신뢰도를 확보했다.

ICAIF 조직위원회는 이번 연구가 기존 AI 벤치마크에서 다뤄지지 않았던 ‘금융 보안·규제 준수(compliance)’ 영역을 본격적으로 평가했다는 점을 높이 평가했다.

FSKU 평가에서 LLM만으로는 법규상 명시된 수치 기준(200억원, 30일 이내, 5% 인력 등)이나 법률 용어 해석에 한계가 나타났으며, 금융 실무 적용을 위해서는 모델 튜닝과 RAG 시스템 도입이 필요하다는 점도 확인됐다.

금융보안원은 올해 ‘2025 금융 AI Challenge’에서 실제로 FSKU를 적용해 AI 모델의 금융보안 이해도를 평가했으며, 실효성을 검증했다고 설명했다.

앞으로는 FSKU를 개선·확장해 금융회사가 자체 AI 모델을 개발하거나 특정 분야로 미세조정할 때 활용할 수 있는 성능 측정 지표로 지원할 계획이다.

박상원 금융보안원장은 “금융권의 AI 도입 속도가 빨라지면서 AI의 신뢰성과 안전성 확보가 가장 중요한 과제로 떠올랐다”며 “금융보안원은 금융회사가 AI를 안전하게 도입할 수 있도록 신뢰 가능한 AI 기술 연구·개발을 지속하겠다”고 말했다.