NVIDIA presenta Nemotron 3.5 Lightning: un LLM de 30B con 3B activos y contexto de 1M
Nvidia Nemotron 3.5 Lightning
NVIDIA ha lanzado Nemotron 3.5 Lightning, un modelo de lenguaje de 30B parámetros (3B activos) con arquitectura híbrida MoE, Mamba-2 y Attention. Capaz de manejar hasta 1M de tokens de contexto, se puede ejecutar en una sola GPU como DGX Spark o H100. Incluye decodificación especulativa DSpark y MTP para acelerar la generación. El modelo está optimizado para agentes autónomos y codificación, con soporte para varios idiomas. Su licencia es OpenMDW-1.1.
El modelo emplea una arquitectura híbrida de mezcla de expertos, utilizando capas intercaladas de Mamba-2 y MoE, junto con capas selectivas de atención.