Needle 2 - 14MB Agentic LLM para dispositivos diminutos
Show HN: Needle2: 14MB agentic LLM for phones, wearables, smart home and robots
Needle 2 es un modelo de lenguaje agéntico de 45 millones de parámetros, comprimido en un binario de solo 14MB que ejecuta sesiones completas en 28MB de RAM. Diseñado para funcionar en hardware de bajo costo como Raspberry Pi, microcontroladores, wearables y teléfonos económicos, alcanza velocidades de decodificación de hasta 500 tokens por segundo en una Raspberry Pi 5. Su arquitectura innovadora, basada en Simple Attention Network y Cactus Quants, permite una cuantización 2-bit sin pérdidas y un consumo energético mínimo. Ideal para automatización del hogar, robots, wearables y más, Needle 2 es de código abierto (Apache 2.0) y se puede probar en su playground.
El modelo es diminuto y su rendimiento nunca nos decepciona.