ESP32-S3 7대로 0.4B LLM을 구동하는 클러스터 등장

ESP32S3 cluster running 1.58-bit (BitNet) Language model

▲ 142nkko31 HN 토론
ESP32-S3 7대로 0.4B LLM을 구동하는 클러스터 등장

ESP32-S3 7대를 SPI 데이지 체인으로 연결해 1.58비트(BitNet) 양자화된 0.4B LLM을 분산 추론하는 프로젝트가 공개됐다. 마스터 노드가 토크나이저와 임베딩을 담당하고, 6개의 컴퓨트 노드가 각각 4개 트랜스포머 블록을 나눠 처리한다. 1.58비트 삼진 가중치와 INT4 임베딩으로 메모리 사용량을 극한으로 줄였으며, 어셈블리 최적화와 LUT까지 동원했다.

이 프로젝트는 슬라이스된 0.5B LLM을 7개의 ESP32s3 클러스터에서 실행합니다. 하나는 마스터 역할을 하고 나머지는 노드입니다.
원문 읽기 →HN 토론RSS

HN 토론

31
  1. ladyanita22

    이건 제가 오랫동안 상상해 온 일이에요.

    Rust를 가져왔다고 해봐요. 다른 언어보다 병렬화를 쉽게 해주는 언어죠(흔한 함정을 피하도록 도와주니까요). 아주 작고 단순한 마이크로컨트롤러 같은 칩 여러 개로 대규모 병렬 컴퓨터 시스템을 만드는 게 얼마나 어려울까요? 작은 Risc-V를 많이 골랐다고 해봐요. 분명 흥미로운 실험이 될 거예요(경제성이 있을지는 잘 모르겠지만...).

  2. tdhz77

    머지않아 모든 전구에 Kubernetes를 돌리는 AI가 들어가겠네

  3. cameron_b

    이 정도 '압축'이면 그냥 고급 LLM 잡음 발생기가 되어버린다는 게 좀 아쉽네요. 그래도 여전히 매력적이에요.

  4. NDlurker

    기본 워드프로세서에서 문법 검사를 어떻게 처리할지 궁금하네요. 아니면 작은 텍스트 기반 게임용 세계를 생성한다든지요. 이런 클러스터가 어떤 능력을 가졌는지 전혀 모르겠어요.

  5. librasteve

    하하 … 이건 바로 https://bil-lang.org 가 겨냥하는 종류의 프로젝트네요: 병렬(즉 이 경우 파이프라인 처리)을 위한 Go죠.

    그래도 TinyGo 백엔드가 만들어질 때까지는 너무 흥분하지 마세요 ;-)

이 날의 다른 글

2026-09-29