Needle 2 - 14MB Agentic LLM for Tiny Devices
Show HN: Needle2: 14MB agentic LLM for phones, wearables, smart home and robots
Needle 2는 45M 파라미터의 초경량 에이전트 LLM으로, 단 14MB 바이너리와 28MB RAM으로 스마트폰, 웨어러블, 스마트 홈, 로봇 등 저사양 기기에서 실행됩니다. Raspberry Pi 5에서 초당 500토큰, 저가형 폰에서 300-700토큰의 빠른 추론 속도를 제공하며, ESP32-S3 같은 마이크로컨트롤러에서도 동작합니다. 도구 호출, 기기 제어, 구조화된 데이터 추출에 특화되어 있으며, Apache 2.0 라이선스로 공개되어 누구나 사용할 수 있습니다.
가장 중요한 것은 에너지 효율입니다. 기기 칩에서 플래시나 DRAM에서 바이트를 읽는 것은 곱셈-누적 연산보다 수십 배 더 많은 비용이 들기 때문에, 우리는 FLOPs와 바이트를 함께 최적화했습니다. Needle 2는 토큰당 70 MFLOPs만 사용하며, 이는 비교 대상 모델보다 7배에서 85배 적은 에너지를 소비합니다.