오픈소스 AI의 새로운 전환점
오픈소스 AI의 판도를 바꿀 새로운 모델이 등장했습니다. 프랑스의 AI 스타트업 미스트랄AI가 지난 12월 4일, 차세대 오픈소스 AI 모델 '미스트랄 3' 제품군을 공개했는데요. 이번 공개는 단순한 모델 업데이트를 넘어, 대형 폐쇄형 모델과 중국 오픈소스 모델의 공세에 대한 강력한 대응으로 해석되고 있습니다. 플래그십 모델인 '미스트랄 라지3'부터 엣지 디바이스용 소형 모델까지 총 9종이 선보였으며, 모든 모델은 상업적 제한이 없는 아파치 2.0 라이선스로 제공됩니다. 특히 엔비디아와의 긴밀한 협력을 통해 하드웨어 최적화를 극대화했다는 점이 주목할 만합니다.
확장성과 효율성의 균형, MoE 구조
미스트랄 라지3의 핵심은 '전문가 혼합(MoE)' 구조입니다. 전체 6750억 개의 매개변수 중 실제로 활성화되는 것은 410억 개에 불과해, 불필요한 연산을 대폭 줄였습니다. 이 구조 덕분에 확장성과 정확성이라는 두 마리 토끼를 잡을 수 있었죠. 모델은 텍스트와 이미지를 동시에 처리하는 멀티모달 기능을 탑재했고, 최대 25만 6000 토큰에 달하는 긴 컨텍스트를 지원합니다. 기업의 문서 분석, 코딩, 워크플로우 자동화와 같은 실용적인 업무에 특화된 성능을 목표로 설계된 겁니다.
성능 면에서도 주목할 만한 결과를 보였습니다. 40개 이상의 언어에서 모국어 수준의 능력을 보였고, 다국어 이해와 박사 수준의 STEM 질의응답 벤치마크에서는 중국의 주요 오픈소스 모델들을 앞섰습니다. 다만, 코딩 능력에서는 아직 중국 모델에 다소 뒤처지는 모습을 보여, 향후 개선이 필요한 부분으로 지적됩니다.
엔비디아와의 협력, 하드웨어 최적화로 완성
이번 미스트랄 3의 성능은 엔비디아의 최신 하드웨어와의 깊은 연계 없이는 설명하기 어렵습니다. 미스트랄 라지3는 엔비디아 H200 GPU 3천 대를 활용해 학습되었고, 엔비디아의 차세대 'GB200 NVL72' 시스템과 결합될 때 그 진가가 발휘됩니다. 엔비디아에 따르면, NVL72 시스템에서 미스트랄 라지3의 추론 성능은 이전 세대 H200 대비 무려 10배나 향상됐습니다. 이는 NVLink 인터커넥트, 전문가 병렬 처리 구조, NVFP4 저정밀도 연산 등 엔비디아의 다양한 첨단 기술이 집약된 결과입니다.
이러한 협력은 소형 모델 라인업인 '미스트랄 3' 시리즈(14B, 8B, 3B)에도 그대로 적용됩니다. 이 모델들은 엔비디아의 RTX PC, 젯슨, 스파크와 같은 엣지 플랫폼에서 최적화된 성능을 제공하도록 설계됐습니다. 심지어 4GB VRAM을 가진 장치에서도 4비트 양자화를 통해 실행이 가능할 정도로 가벼우면서도, 이미지 이해와 긴 컨텍스트 처리 같은 고급 기능을 유지하고 있습니다.
오픈소스 생태계에 미치는 파급력
미스트랄의 이번 발표는 오픈소스 AI 생태계에 상당한 파장을 몰고 올 전망입니다. 기욤 람플 미스트랄 최고전략책임자(CSO)는 대형 폐쇄형 모델의 비효율성을 지적하며, 기업 수요의 상당부분은 맞춤형 소형 모델로 충분히 해결될 수 있다는 점을 강조했습니다. 미스트랄 3 제품군은 이 관점을 실현하는 도구로, 연구자와 개발자에게 완전한 접근성과 통제권을 제공합니다.
엔비디아 역시 네모(Nemo) 툴킷, 텐서RT-LLM, vLLM 등 자사의 소프트웨어 스택을 미스트랄 3에 맞춰 최적화했습니다. 이는 개발자들이 오픈소스 모델을 기반으로 에이전트나 맞춤형 애플리케이션을 더 빠르게 구축할 수 있도록 돕기 위함입니다. 모델들은 이미 주요 오픈소스 플랫폼과 클라우드에서 이용 가능하며, 조만간 엔비디아의 NIM 마이크로서비스 형태로도 배포될 예정입니다.
이번 협력은 하드웨어와 소프트웨어, 대형 모델과 소형 모델이 결합된 종합 솔루션을 제시한다는 점에서 의미가 큽니다. 클라우드 데이터센터의 초고성능 추론부터 스마트폰 같은 엣지 디바이스의 효율적인 실행까지, AI 활용의 스펙트럼을 한층 넓힐 것으로 기대됩니다.