Edge0-145B: el primer modelo de IA de 145B que corre en tu propio portátil

Estoy realmente impresionado con los ejemplos de Blender. Es increíble lo lejos que ha llegado el "uso de herramientas", cuando ahora significa usar una herramienta tan complicada como Blender para realizar un trabajo que a un humano le llevaría días completar. Soy un poco escéptico de que los modelos reales sean viables, en el sentido de que un humano pueda venir después y refinar manualmente y aplicar mejores texturas, etc. Históricamente, los diseños hechos por agentes son un desastre, y para cuando los limpias, no has ahorrado nada de tiempo. Pero eso ha empezado a mejorar; los mejores modelos ahora son muy buenos haciendo SVGs limpios basados en formas, por ejemplo, que no son más desordenados que lo que haría un humano en Inkscape o Illustrator. Pero, definitivamente lo probaré.

> Compartir matrices reduce sustancialmente los pesos que deben almacenarse y moverse mientras se mantiene el número de expertos sin cambios. Cada grupo de 64 expertos comparte dos matrices grandes, mientras que cada experto conserva un pequeño conjunto de parámetros que captura sus diferencias.

145B parámetros con solo un uso máximo de memoria de 29GB - realmente impresionante, algo que realmente puedes ejecutar en un MBP con especificaciones decentes

¿Esto se deriva de flash next? Esa es la impresión que tengo al leer todo. Usando Strata + Qwen 3.8 Flash Next ahora y estoy más que impresionado. Básicamente es tan capaz como 5.6 Luna en mis manos hasta ahora. Si esto es una mejora, no puedo esperar para probarlo.

> Se ejecuta en un portátil personal compatible, como un MacBook Pro

Tengo curiosidad, ¿la gente normal (o sea, no desarrolladores profesionales de HN ni emprendedores) tiene eso, como dispositivo realmente personal (no de su empresa tecnológica)?

Imagino que algunos sí, pero siento, y esto es lo que me pregunto, que el usuario medio de PC tiene como mucho un equipo gaming, pero eso ya es una minoría, y mucho más a menudo un portátil de gama baja con 16GB de RAM normal, no unificada ni VRAM. ¿Estoy desconectado?

Lo han lanzado como NVFP4, así que es solo para Nvidia Blackwell, presumiblemente su motor de inferencia tampoco soporta nada fuera de CUDA 13 especificado. Será interesante ver si esto gana otros quants y otros motores de inferencia lo adoptan y obtenemos algunos archivos GGUF estándar, es un lanzamiento un poco raro en este momento en lugar de descargas de archivos GGUF el enlace de variantes en HF lleva a un directorio de cosas que contiene el modelo repartido en una variedad de archivos.

Es increíble el nivel de optimizaciones que estamos descubriendo. A este ritmo, no me sorprendería si la tendencia empieza a revertirse, es decir, en lugar de lanzar modelos cada vez más grandes, las empresas empiezan a lanzar modelos más pequeños, más capaces y especializados para aplicaciones específicas.

En las últimas semanas, he estado armando un pequeño modelo de 6.5M de parámetros. Es conversacional, hace llamadas a herramientas, RAG, modelado/cálculos matemáticos, simulaciones físicas básicas y razonamiento encadenado de múltiples pasos. Todavía está muy lejos de ser un modelo de frontera. Pero ya hace más de lo que pude lograr con un modelo qwen 2.5 de 0.5b parámetros con fine-tuning hace solo 1 año.

La mayoría de las mejoras provienen de poder dirigir a claude para aplicar diferentes ideas de investigaciones recientes que siguen saliendo. Los laboratorios de IA parecen estar enfocados en modelos de 1B+, así que no sale mucho sobre modelos pequeños, pero muchas de las cosas que se descubren en investigación con modelos de mil millones+ son adaptables a los pequeños también.

Las mejoras en el arnés como la poda de contexto, la curación de llamadas a herramientas malformadas también son muy útiles para potenciar modelos locales más pequeños. He estado haciendo mucho trabajo en esta área últimamente.

Qwen 27B en Terminal Bench 2.1 73->85 por ejemplo.