Cactus Needle 2 - 14 MB Agentic LLM for Tiny Devices
Show HN: Cactus Needle 3: 8-29MB automation models can match DeepSeek V4 Flash
Cactus Needle 2 ist ein 45-Millionen-Parameter-Modell für Tool-Calling, Gerätesteuerung und strukturierte Extraktion, das als einzelne 14-MB-Binary in nur 28 MB RAM läuft. Es erreicht 500 Tokens/s auf einem Raspberry Pi 5 und funktioniert auf Geräten unter 200 US-Dollar, Wearables, Robotern und Mikrocontrollern wie dem ESP32-S3. Dank Cactus Quants und byte-level Grammar liefert es zuverlässige Funktionsaufrufe ohne Cloud. Apache-2.0-lizenziert, Gewichte auf Hugging Face, sofort im Playground testbar.
Das Modell ist eine einzige 14 MB große Binary, die eine vollständige Session in 28 MB RAM ausführt – und dabei auf Tool-Calling- und Mobile-Device-Benchmarks mit Modellen konkurriert, die 5- bis 70-mal größer sind.