MicroLLM Lab запускает семь крошечных LLM прямо в браузере
MicroLLM Lab – Try 7 tiny LLM's in the browser
MicroLLM Lab позволяет запускать, тестировать и сравнивать семь компактных языковых моделей (от 25 до 362 млн параметров) прямо в браузере с аппаратным ускорением WebGPU. Модели в 4-битной квантизации занимают всего 15–216 МБ и работают полностью на устройстве — без серверов, аккаунтов и утечек данных. Можно загрузить модели в IndexedDB, общаться с ними, замерять скорость и точность, а также сгенерировать сертификат производительности.
Пограничные модели (GPT-4, Claude) стоят миллионы на обслуживании и добавляют сетевую задержку. Компактные модели (25–360 млн параметров) работают как сверхбыстрый, эффективный пограничный слой.