7 микроконтроллеров ESP32-S3 объединили в кластер для запуска 0.5B LLM
ESP32S3 cluster running 1.58-bit (BitNet) Language model
Проект ESP32s3-LLM-Cluster распределяет 0.5B языковую модель по семи ESP32-S3: мастер-узел выполняет токенизацию и эмбеддинги, а шесть вычислительных узлов — слои трансформера с 1.58-битной (BitNet) тернарной квантизацией. Связь организована через высокоскоростной SPI-шлейф, что позволяет запускать LLM на микроконтроллерах.
Этот проект запускает разрезанную 0.5B LLM на кластере из 7 ESP32s3.
- ladyanita22
Вот о чём я давно фантазирую.
Допустим, мы взяли Rust — язык, который упрощает параллелизацию по сравнению с другими (так как помогает избежать некоторых распространённых ошибок). Насколько сложно было бы создать массово-параллельную компьютерную систему из множества крошечных, простых чипов, похожих на микроконтроллеры? Скажем, мы выбрали множество маленьких Risc-V. Несомненно, это был бы интересный эксперимент (хотя я не уверен, имеет ли это экономический смысл или нет...)
- tdhz77
Скоро ИИ в каждой лампочке будет крутить Kubernetes
- cameron_b
Немного обидно видеть, что степень «сжатия» превращает это в навороченный генератор шума LLM. Но всё равно мило.
- NDlurker
Мне любопытно, как это справится с проверкой грамматики в простом текстовом процессоре. Или, может быть, с генерацией миров для небольших текстовых игр. Понятия не имею, каковы возможности такого кластера.
- librasteve
ха-ха … это как раз тот тип проекта, на который нацелен https://bil-lang.org: Go для параллелизма (то есть в данном случае конвейерной обработки).
только не слишком радуйтесь, пока мы не соберём бэкенд TinyGo ;-)