AI 해킹 위험 커진다…‘AI 보안·감사’ 산업 등장[AI 7대 트렌드⑧]

AI 모델 고도화…데이터 조작 등 잇딴 문제

AI 보안 요구 증가…정보보호 수요 9733억

전문가 “AI 규제·시장 확보 방안 논의 필요”

경기 고양시 킨텍스에서 열린 세계 보안 엑스포& 전자정부 정보보호 솔루션 페어에서 관람객들이 AI 기술을 도입한 모니터링 시스템을 살펴보고 있다.ⓒ뉴시스

생성형 인공지능(AI) 확산과 함께 AI 신뢰성, 보안 요구가 커지고 있다. AI 모델이 고도화되는 만큼, 이를 겨냥한 공격과 데이터 조작, 알고리즘 오류 등의 문제가 잇따라 제기되면서다.

AI 보안과 감사, 통제 기술을 다루는 시장이 빠르게 형성되는 가운데 기업과 정부의 디지털 신뢰 확보가 핵심 과제로 부상하고 있다.

적대적·악의적 공격에…AI 정보보호 수요 22.5% 증가

과학기술정보통신부가 지난달 31일 발표한 ‘2026년 공공부문소프트웨어(SW)·ICT장비·정보보호 수요예보’ 결과에 따르면 정보보호 관련 수요는 9733억원으로 지난해(7948억원) 보다 22.5% 증가했다. 침해사고 예방, AI 전환에 따른 보안 수준 강화 영향으로 풀이된다.

분야별 증가율은 정보보안 제품18.5%, 정보보안 서비스19.0%, 물리보안 제품79.4%, 물리보안 서비스46.4%로 집계됐다.

이처럼 AI 보안의 중요성이 커진 것은 AI 시대의 보안이 한층 더 복잡하고, 교묘해졌다는 데 있다. AI 모델을 속여 잘못된 결과값을 도출하게 만드는 적대적 공격(Adversarial Attack)과 학습 데이터에 악의적인 정보를 주입해 모델의 판단력을 흐리는 데이터 오염(Data Poisoning)이 대표적이다.

실제 운영 환경에 투입된 AI 시스템이 해킹될 경우, 기업의 기밀 유출은 물론 고객 신뢰도 하락으로 인한 막대한 경제적 손실을 피할 수 없다.

AI 에이전트 부상…보안 확보 어려워

지난 2월 28일 서울 중구 동대문디자인플라자(DDP) 아트홀에서 열린 서울AI페스티벌 2026에서 엄마와 아이가 가정용 생활 반려로봇 ‘케미프렌즈’와 인사하고 있다.ⓒ뉴시스

AI 기술의 보안 체계를 갖추기 위해서는 복합적으로 얽힌 문제들을 풀어나가야 한다. AI의 신뢰성 문제는 단순히 기술적 보안에 그치지 않고, 알고리즘의 오류나 편향성에 따른 법적 책임 문제가 잇따라 제기되고 있는 까닭이다.

먼저, 최근 급속하게 전파되고 있는 AI에이전트의 경우 책임의 주체를 특정하기 어렵다. 국회입법조사처는 ‘AI 에이전트의 시대, 편의성과 책임성의 균형은 어떻게?’ 보고서에서 “AI 에이전트 작동에는 거대언어모델(LLM) 사업자, 에이전트 서비스 공급자, AI 에이전트 사용자 등이 복합적으로 관련돼 피해가 발생할 경우 책임 주체 특정이 어렵다”며 “책임 귀속이 불명확한 상태에서는 서비스의 보편적 확장을 기대하기 어렵다”고 분석했다.

입법처는 ‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법’(AI 기본법)을 통해 피해자가 책임을 물을 수 있는 주체와 귀속 원칙을 명시해야 한다고 강조한다. 이같은 문제가 해결되지 않으면 AI 기술의 시장 확대는 어려워질 수밖에 없다.

AI 기술 규제와 혁신 사이의 이해를 좁히는 것도 과제다. 기업의 입장에서는 개인정보 강화 기술(PET) 적용 시 발생하는 추가적인 비용은 부담이 될 수밖에 없고, 이는 곧 성장을 가로막는 규제가 돼 시장 형성을 저해하는 요인이 될 수 있다.

반면, 보안의 측면에서는 비용과 과정이 번거롭더라도 프라이버시 보호를 위해 반드시 필요한 요소다.

김형종 서울여자대학교 개인정보보호혁신인재양성사업단장은 “AI 보안은 AI 기술을 개발해 사람들의 삶을 편리하게 하면서 경제적 이익을 얻는 부분과 비용이 발생하고, 과정이 어려워도 보안을 AI에 적용하는 충돌적 이슈가 존재하는 영역”이라며 “상호 간 대화와 문제를 풀기 위한 기술적인 세부적 논의가 필요한 상황”이라고 설명했다.

규제의 역설…정책이 만드는 새로운 산업 생태계

과학기술정보통신부 전경.ⓒ데일리안DB

정부의 움직임도 기민하다. 전 세계적으로 AI 규제의 가이드라인이 명확해지면서 역설적으로 규제가 시장의 불확실성을 해소하고 새로운 산업 생태계를 만드는 마중물 역할을 하고 있기 때문이다.

서중해 한국개발연구원(KDI) 국제정책대학원 자문교수는 “해외의 경우 (AI) 기술이 야기하는 문제를 막기 위해 공식적인 정부의 규제나 법이 아니어도 지역 공동체 차원에서 방지하려는 움직임이 있다”며 “(우리나라의 경우) AI 기술 등이 초래하는 부작용은 알려져 있고, 이를 어떻게 해결해야 할지 합의된 것은 없는 상태”라고 설명했다.

그러면서 “AI 기술과 관련해 빅테크 기업만 이야기하며 투자와 수익으로만 중심이 기울고 있는데 AI가 제공하는 잠재력을 실현하기 위해서는 관리가 필요하다. 지금 이를 구축하는 시기에 돌입했다고 보면 된다”고 설명했다.

정부는 ‘디지털 신뢰 확보’를 핵심 과제로 설정했다. 송경희 개인정보보호위원회 위원장은 지난달 30일 열린 사이버 외교 특별 강연에서 “AI와 디지털 기술의 발전이 모두를 포용하는 방향으로 나아가기 위해서는 신뢰 기반의 책임 있는 데이터 활용이 필수적”이라고 강조했다.

과기정통부는 AI 기술의 수요에 맞춰 제도적 기반을 구축하겠다는 구상이다. 이도규 정보통신정책실장은 “최근 공공부문의SW·ICT장비·정보보호 수요가AI, 클라우드 등 신기술을 중심으로 빠르게 증가하고 있다”며 “이번 수요의 증가가 민간 소프트웨어,ICT및 정보보호 산업의 동반 성장으로 이어질 수 있도록 정책적 기반을 지속적으로 강화해 나가겠다”고 말했다．

전문가는 AI 기본법이라는 규제와 시장 유인책을 균형있게 활용해 AI 보안을 실현해야 한다고 강조한다.

김형종 단장은 “가속도가 붙은 AI 기술 개발 속도를 따라가지 못하고 있다”며 “규제는 이해관계를 이해하고, 상충관계를 해결해 중요한 역할을 한다. 법의 세부 규정을 정부에서 적용하고, 보완 체계를 잘 갖추는 기업에게는 세제 혜택을 주거나 정부가 제공할 수 있는 베네핏을 주는 등 이러한 것을 논의할 수 있어야 한다”고 말했다.