Needle 2: 14MB微型设备智能体LLM
Show HN: Cactus Needle 3: 8-29MB automation models can match DeepSeek V4 Flash
今天发布Needle 2，一款专为微型设备打造的4500万参数智能体LLM。整个模型仅14MB二进制文件，运行会话仅需28MB内存，可在Raspberry Pi 5、Meta Quest 3S甚至ESP32-S3等低成本硬件上流畅运行。基于Simple Attention Network架构与CQ2-bit压缩技术，它在工具调用和设备控制任务上表现卓越，解码速度高达500 tokens/sec。无需GPU或NPU，即可为可穿戴设备、智能家居和机器人提供实时、私密的本地AI能力。
我们押注的是将On-Device AI带到200美元以下的设备：边缘计算不应只属于Mac和PC，而应覆盖那210亿台廉价的IoT设备。