NVIDIA Nemotron 3.5 Lightning, 에이전트형 AI 작업을 4배 빠르게 처리

Nvidia Nemotron 3.5 Lightning and NeMo Switchyard

NVIDIA가 오픈 모델 제품군에 Nemotron 3.5 Lightning을 추가했다. 30B 매개변수 MoE 모델로, 항상 켜져 있는 에이전트의 고부하 작업을 위해 설계되어 출력 속도가 최대 4배 빨라지고 에이전트 작업 완료 시간이 30% 단축된다. 또한, NeMo Switchyard라는 오픈 소스 모델 라우팅 라이브러리를 공개하여 각 요청을 가장 적합한 모델로 자동 전송한다. 이를 통해 기업은 품질, 지연 시간, 비용 요구 사항에 따라 라우터를 조정할 수 있다. 내부 벤치마크에 따르면 Switchyard는 최첨단 정확도를 유지하면서 작업 완료 비용을 Opus 4.8 단독 사용의 약 1/3로 줄인다.