Needle 2 - 14MB Agentic LLM for Tiny Devices
Show HN: Cactus Needle 3: 8-29MB automation models can match DeepSeek V4 Flash
Needle 2는 45M 파라미터의 오픈소스 모델로, 단일 14MB 바이너리로 28MB RAM에서 실행됩니다. Raspberry Pi 5에서 초당 500 토큰을 처리하며, $200 이하의 스마트폰, VR 기기, 웨어러블, 마이크로컨트롤러에서도 작동합니다. 툴 호출, 기기 제어, 구조화된 추출에 최적화되어 있으며, Cactus Quants로 2비트 양자화되어 정확도를 유지합니다. Apache 2.0 라이선스로 Hugging Face에서 가중치를 제공하며, Mac/PC에서 쉽게 파인튜닝할 수 있습니다.
Needle은 45M 파라미터로 14MB에 불과하지만, 배터리 성능 손실 없이 뛰어난 성능을 발휘합니다.