Needle 2 - 14MB Agentic LLM for Tiny Devices
Show HN: Needle2: 14MB agentic LLM for phones, wearables, smart home and robots
Needle 2は、ツール呼び出し、デバイス操作、構造化抽出に特化したオープンソースの45Mパラメータモデルです。モデル全体が14MBの単一バイナリに収まり、28MBのRAMで完全なセッションを実行できます。Raspberry Pi 5では500トークン/秒のデコード速度を達成し、ESP32-S3などのマイクロコントローラでも動作します。Cactus Quantsによる2ビット量子化とSimple Attention Networkアーキテクチャを採用し、従来のモデルと同等の性能を5〜70倍小さなサイズで実現します。Apache 2.0ライセンスで提供され、Hugging Faceでウェイトを公開しています。
エッジAIはこれまでMacやPCを対象としていましたが、実際のエッジは安価なハードウェアです。Needleは、GPUもNPUもない、数百MBのRAMしかないデバイスをターゲットにしています。