LLM 및 멀티모달 모델 효율적인 추론 지원…다양한 환경서 구현
인공지능 반도체 기업 퓨리오사AI는 자사의 2세대 AI 추론 가속기 RNGD(레니게이드)를 마이크로소프트의 애저 마켓플레이스(Azure Marketplace)에 공식 출시했다고 17일 밝혔다.
RNGD는 LLM(거대언어모델) 및 멀티모달 모델의 효율적인 추론을 위해 설계된 데이터 센터용 차세대 AI 가속기다.
지난해 8월 핫 칩스(Hot chips) 2024 컨퍼런스에서 첫 선을 보인 바 있다. 클라우드 중심, 온프레미스, 하이브리드 등 다양한 환경에 최적화돼 있어 유연하게 여러가지 목적으로 활용할 수 있다.
주요 기능은 ▲수분 내로 추론용 프로덕션 환경 배포 ▲수요에 따라 유연하게 추론 인프라 규모 조절 ▲기존 애저 데이터 및 소프트웨어 스택과 원활한 통합 등이다.
퓨리오사AI는 Llama(라마) 3.1 사전 컴파일 모델 기반 API를 곧 제공할 계획이다. 이를 통해 기업 고객은 레니게이드의 추론 성능을 기존 워크플로우 내에서 즉시 테스트하고 활용할 수 있다. 향후 다양한 모델 아키텍처 지원도 순차적으로 확대할 예정이다.
마이크로소프트 애저 플랫폼 총괄 제이크 즈보로프스키(Jake Zborowski)는 “애저 마켓플레이스는 전 세계 고객이 신뢰할 수 있는 파트너 솔루션을 쉽게 찾고 배포할 수 있는 공간”이라며 “퓨리오사AI의 레니게이드를 이 생태계에 새롭게 맞이하게 돼 기쁘다”고 말했다.
이번 출시를 계기로 퓨리오사AI는 자사 제품 보급에 속도를 낼 방침이다. 현재 국내외 기업 고객을 대상으로 레니게이드 제품평가를 진행 중이다. 또 TSMC와 협업으로 대규모 양산에 돌입했다.
퓨리오사AI 관계자는 “레니게이드의 애저 통합은 누구나 접근 가능한 효율적인 AI 추론 인프라를 제공한다는 당사의 비전을 실현하는 중요한 이정표”라며 “스타트업부터 대기업까지 복잡한 AI 인프라 없이도 필요한 성능을 쉽고 빠르게 확보할 수 있을 것”이라고 밝혔다.