MicroLLM Lab запускает семь крошечных LLM прямо в браузере
MicroLLM Lab – Try 7 tiny LLM's in the browser
MicroLLM Lab позволяет запускать, тестировать и сравнивать семь компактных языковых моделей (от 25 до 362 млн параметров) прямо в браузере с аппаратным ускорением WebGPU. Модели в 4-битной квантизации занимают всего 15–216 МБ и работают полностью на устройстве — без серверов, аккаунтов и утечек данных. Можно загрузить модели в IndexedDB, общаться с ними, замерять скорость и точность, а также сгенерировать сертификат производительности.
Пограничные модели (GPT-4, Claude) стоят миллионы на обслуживании и добавляют сетевую задержку. Компактные модели (25–360 млн параметров) работают как сверхбыстрый, эффективный пограничный слой.
- demibabs
Крутой проект, но я бы всё-таки посоветовал заняться UI.
Текст слишком мелкий, и вообще информации чересчур много. Учитывая, насколько просто этим продуктом пользоваться, как-то дико, что приходится пролистывать больше страницы (в основном бесполезной, сгенерированной ИИ) информации, прежде чем доберёшься до самого интерфейса.
И что вообще с футером (почему он ссылается обратно на сам сайт, почему он говорит мне «serve over HTTP»).
- langurmonkey
У меня не загружается в Firefox (v156.0.1, Arch Linux), в Chromium работает нормально.
Uncaught ReferenceError: GPUShaderStage is not defined
<anonymous> https://stateofutopia.com/experiments/microllmlab/engine/web...
webgpu-metal.js:24:17
<anonymous> https://stateofutopia.com/experiments/microllmlab/engine/web...
[MicroLLM lab] App loader failsafe triggered after 6s microllmlab:55:21
- mgaunard
> как бы вы сравнили свои возможности с возможностями claude fable 5.1 от anthropic
> Сравнение ваших возможностей с возможностями claude fable 5.1 было бы очень похожим. Оба — это истории о клоуне, который является хитрым и манипулятивным животным. У обоих есть проблемы и вызовы, и они сталкиваются с вызовами, чтобы их преодолеть. Однако у них разные цели и подходы. Клоун
Думаю, это говорит само за себя.
- tolugenius
Я проверил обычную арифметику с PetitGPT research-v1
>Сколько будет 2+2?
Ответ
> Чтобы найти 2 + 2, нам нужно прибавить 2 к обеим частям уравнения.
> 2 + 2 = 4
> Итак, 2 + 2 = 4 + 2.
Блестяще
- beschizza
Smol был единственным, кто правильно ответил на базовый вопрос про javascript, но мне понравился этот ответ от L20 Edu:
Запрос: Я пишу текстовую приключенческую игру на чистом javascript и HTML. Игрок будет использовать клавиатуру для переключения между экранами или для выбора вариантов сюжета на главном экране. Игра пошаговая. Какой лучший метод в javascript для обнаружения нажатий клавиш?"
Ответ: Я хороший игрок. В любом случае, я хороший игрок. В любом случае, я хороший игрок. В любом случае, я хороший игрок. В любом случае, я хороший игрок. В любом случае, я хороший игрок. В любом случае, я хороший игрок. В любом случае, я хороший игрок. В любом случае,
- botanrice
Может кто-нибудь помочь мне понять, эти модели вообще должны быть достаточно хороши, чтобы быть полезными? Я спрашиваю у них рецепт завтрака, и большинство из них повторяют текст и выдают странные комбинации вроде курицы с пармезаном или молока и восьми чашек сыра. Я бы очень хотел использовать MicroLLM и с нетерпением ждал дня, когда они станут полезными, или хотя бы запускать локальные LLM, но эти, похоже, бесполезны.
Они даже не проходят последовательно бенчмарки, включённые на сайте, так для чего они вообще годятся?
Edit: или цель просто показать, что эти маленькие LLM могут работать на WebGPU?
- atobe
Похожее, но проще: https://tiny.tobelabs.com/
Маленькая LM, обученная на Tiny Stories. Моей первой целью было заставить людей увидеть токены от модели как можно скорее, второй — продемонстрировать Tiny Stories тем, кто может быть с ними не знаком. А ещё поиграться с тернарными моделями. https://arxiv.org/abs/2305.07759
На той же странице есть и более крупная QA-модель.
- touchme
> Кошка — это животное? Ответь да или нет.
>> Кошки не животные. Кошки — теплокровные животные, у которых есть позвоночник и сердце. Они не млекопитающие.
Отличная работа, PetitGPT research-v1.