Needle2: 14MB 微型智能体大模型
Show HN: Needle2: 14MB agentic LLM for phones, wearables, smart home and robots
我们发布了 Needle2，一款专为微型设备打造的开源智能体大模型。整个模型仅 14MB，运行会话仅需 28MB 内存，却能在 Raspberry Pi 5、Meta Quest 3S 甚至 ESP32-S3 等无 GPU 设备上实现每秒 500 个 token 的解码速度。基于 Simple Attention Network 架构和 Cactus Quants 无损 2 位量化技术，它在工具调用和设备控制任务上表现卓越，性能媲美 FunctionGemma 等更大模型。无需安装依赖，单二进制文件即可在各类边缘设备上运行，让智能助手真正走进低成本硬件。
边缘 AI 不应只属于昂贵的 Mac 和 PC，真正的边缘是那些成本低于 200 美元的廉价硬件：数十亿 IoT 设备、入门级手机和微型机器人。Needle 的目标就是这些没有 GPU、没有 NPU、仅有几百 MB 内存的设备。