아주대 연구팀, 시각 정보 인식·판별 가능 '지능형 머신비전 기술용' 신소자 개발

사람 망막 모방 저전력·고속으로 이미지 처리, 자율주행·보안·로봇 등에 적용 기대

아주대 연구팀이 개발한 AI 머신 비전용 뉴로모픽 광센서에 대한 이미지. (왼쪽) 인체 망막의 시각 처리 방식을 보여주는 그림. (가운데) 연구팀이 개발한 다중 출력 지능형 광 감지 소자는 생체 망막에 대응하는 각각의 기능을 가지고 있다. (오른쪽) 개발된 소자를 이용해 실제 영상을 신호처리한 결과, 특정 이벤트 신호만으로 현 위치와 과거 위치 및 예측 위치를 모두 파악할 수 있다. ⓒ 아주대 제공

국내 연구진이 기계가 사람처럼 시각 정보를 인식하고 판별하는 지능형 머신 비전 기술에 활용 가능한 신소자를 개발했다. 이 기술은 단일 칩으로 기존의 센서 시스템보다 속도는 빠르고 에너지는 적게 소모하며 고차원의 이미지를 처리할 수 있어 향후 영상 처리 분야에 폭넓게 활용될 수 있을 전망이다.

28일 아주대학교는 서형탁 교수(첨단신소재공학과·대학원 에너지시스템학과) 연구팀이 지능형 이미지 처리가 가능한 AI 머신 비전용 뉴로모픽 광센서를 개발했다고 밝혔다.

이번 연구에는 아주대 대학원 에너지시스템학과의 모히트 쿠마(Mohit Kumar) 교수가 제1저자로, 아주대 대학원 박사과정 당현민·석사과정 배동현 학생이 공저자로 참여했다. 서형탁 교수(첨단신소재공학과·대학원 에너지시스템학과)는 교신저자로 함께 했다.

머신 비전(machine vision)은 카메라·영상 처리 소프트웨어·인공지능(AI) 등을 활용해 기계가 사람 눈처럼 시각 정보를 인식하고 수집해 판별하는 기술이다. 이 기술은 그동안 주로 산업 현장에서의 자동화를 위해 사람 대신 제품을 측정하고, 위치를 파악하거나, 불량품을 판별하는 데 사용돼 왔다.

그러나 최근 들어 이 기술은 AI 알고리즘을 기반으로 자율주행, 로봇, 보안, 군사, 의료 등 한층 복잡한 영상의 판독과 해석이 필요한 분야로 빠르게 확장되고 있다. 카메라로 이미지를 포착하고 컴퓨터로 특징을 파악·분석해, 주변의 환경을 스스로 판단하고 동작할 수 있기 때문이다.

머신 비전을 활용한 시스템의 진화를 위한 핵심 요건은 무엇보다도 고해상도 이미지를 기록하는 광 이미지 센서와 영상 데이터의 빠른 신호처리다. 머신 비전 기술은 엄청난 크기의 데이터 전송량을 유발하는데, 이러한 대규모 데이터 전송 과정에서 △네트워크 대역폭의 제한 △대기 시간 증가 △데이터 손실 등 여러 문제가 발생할 수 있다. 특히 실시간 처리가 중요한 자동화 및 검사 시스템에서 이러한 문제는 심각한 병목현상을 유발할 수 있다.

이에 최근에는 배경 정지 영상까지 모든 화상을 기록 및 처리하는 기존 광센서 시스템과 차별화되는 모션 이벤트 기반의 비전 센서가 주목받고 있다. 모션 이벤트 기반의 비전 센서란, 모든 장면을 촬영해 정보를 처리하는 것이 아니라, 유의미한 특정 픽셀만을 선택적으로 처리하는 방식이다. '밝기'의 변화를 감지해, 움직임이 발생한 부분만을 선택적으로 포착할 수 있는 것이다.

아주대 연구팀은 정지 화면과 이동 피사체를 구분할 수 있을 뿐 아니라, 정보 저장 시간의 조정 또한 가능한 광 감지 메모리 센서 개발에 나섰다.

이번에 개발된 광 감지 메모리 센서는 생체 망막과 같이 전압 조절을 통해 모션(이벤트)이 있는 화상을 정전형 전류 스파이크가 촉발한 단기 메모리(0.001초 이내) 형태로 저장한다. 그 외의 배경 정지 화상은 정적인 광전류로 출력해 구분할 수 있다.

연구팀의 광 감지 메모리 센서는 또한 인체 망막의 수평 세포와 말단 신경절 세포를 모사해 설계됐다. 수평 세포의 기능처럼 빛의 어두운 부분과 밝은 부분의 경계를 뚜렷하게 하는 측면 억제를 통해 광 감도나 색채 분류 등의 관련 기능을 향상시키고, 노이즈를 억제함으로써 이미지 정보를 조정할 수 있는 단기 기억 기능을 갖게 한 것. 또한 말단의 신경절 세포처럼 이벤트 기반의 스파이크 신호를 발생시켜, 데이터를 압축할 수 있도록 했다.

연구팀은 최근 나노 스케일 강유전성 소재로 널리 개발되고 있는 헤프늄-지르코늄 복합산화물(HfZrO: HZO)에 주목해 이를 실리콘 기판에 적층함으로써 새로운 센서를 개발할 수 있었다. 전압 크기에 따라 전류 혹은 정전 용량 등 다른 형태의 신호를 출력하는 다중 출력 특성을 통해 정지 화면과 이동 피사체를 구분하고, 정보 저장 시간 조정도 가능하게 된 것이다.

연구팀은 개발된 소자의 다중 출력 특성과 이벤트 발생 시에만 촉발되는 단기 메모리를 활용해 머신 비전 시스템을 구성했다. 그리고 이미지에 대한 적응형 학습을 통해 실제 측정된 영상에 이를 적용해 △이벤트성 이미지 판별 및 분류(정확도 93%) △이동 추적 및 예측(정확도 20~80%) 까지 단일 칩에서 기존보다 빠른 속도와 낮은 전력으로 가능함을 증명했다. 속도는 기존 대비 200배 수준, 전력 소모는 기존 대비 1000배 수준 개선됐다.

서형탁 교수는 "이번 연구는 기존 머신 비전 시스템의 데이터 병목현상 한계를 극복하기 위해 단일 칩으로 이벤트 기반 이미지 인코딩과 메모리 기반 지능형 프로세스를 구현한 최초의 사례"라며 "실리콘 접합 구조의 소자 구조를 구현해 양산 공정 적용이 가능하다"고 말했다.

이번 연구는 과학기술정보통신부·한국연구재단이 주관하는 차세대지능형반도체기술개발사업과 중견 기초연구지원사업의 지원으로 수행되었으며, 특허 출원이 진행 중이다.

연구 내용은 '온 칩 실시간 시공간 분류와 이동 예측을 위한 강유전성 기반 정적·이벤트·단기 메모리를 갖춘 뉴로모픽 광감지 센서(A neuromorphic photodetector with ferroelectric-controlled static, event, and short-term memory modes for on-chip real-time spatiotemporal classification and motion prediction)'라는 제목으로 나노 분야 저명 국제 학술지 <나노 에너지(Nano Enegy)> 9월호 온라인판에 게재됐다.