NVIDIA, 30B 파라미터 MoE 모델 'Nemotron 3.5 Lightning' 공개 — 단일 GPU에서 1M 컨텍스트 처리
Nvidia Nemotron 3.5 Lightning
NVIDIA가 새로운 오픈 모델 'Nemotron 3.5 Lightning'을 출시했습니다. 이 모델은 Mamba-2와 MoE, Attention을 결합한 하이브리드 아키텍처로, 총 30B 파라미터 중 3B만 활성화되어 효율적인 추론이 가능합니다. 최대 1M 토큰의 컨텍스트를 지원하며, DGX Spark(GB10)나 H100과 같은 단일 GPU에서 실행할 수 있습니다. 또한 DSpark, DFlash, MTP 등 다양한 추측 디코딩 전략을 제공하여 생성 속도를 높였습니다. 벤치마크에서 SWE-bench Verified 52.8%, GPQA Diamond 75.6%를 기록했습니다.
이 모델은 NVIDIA의 오픈 모델 제품군으로, 개방형 가중치, 학습 데이터, 레시피를 제공하여 특화된 AI 에이전트 구축에 필요한 효율성과 정확성을 제공합니다.