Needle 2 - 14MB Agentic LLM for Tiny Devices
Show HN: Needle2: 14MB agentic LLM for phones, wearables, smart home and robots
Needle 2 ist ein offenes, agentisches Sprachmodell mit 45 Millionen Parametern, das als einzelne 14MB-Binärdatei ausgeliefert wird und vollständig in 28MB RAM läuft. Es wurde für Tool-Aufrufe, Gerätesteuerung und strukturierte Extraktion optimiert und erreicht auf einem Raspberry Pi 5 eine Decodiergeschwindigkeit von über 500 Token pro Sekunde. Dank Cactus Quants und einer verlustfreien 2-Bit-Quantisierung passt es auf Mikrocontroller wie den ESP32-S3. Needle 2 ist unter Apache 2.0 lizenziert, die Gewichte sind auf Hugging Face verfügbar, und der Code liegt auf GitHub. Testen Sie es im Playground für Wearables, Roboter, Smart Home, Telefone und Automobil.
Das Modell ist winzig und die Leistung lässt uns nie im Stich – wir setzen Cactus Needle lokal in der App ein, anstatt uns auf die Cloud zu verlassen.