MicroLLM Labが7つの超小型LLMをブラウザで実行、WebGPUで100〜300tok/s
MicroLLM Lab – Try 7 tiny LLM's in the browser
MicroLLM Labは、25M〜360Mパラメータの小型言語モデル7種をブラウザ上で動作・比較できる実験場だ。WebGPU対応で最大100〜300tok/s、Q4量子化により100M超のモデルが50〜84MBに収まる。サーバー不要でデータは端末外に出ず、ベンチマークと性能証明書も生成できる。
フロンティアモデル（GPT-4、Claude）は提供に数百万ドルかかり、ネットワーク遅延も加わる。コンパクトモデル（25M〜360M）は、超高速で効率的なエッジ層として機能する。
HNでの議論
113- demibabs
クールなプロジェクトだけど、UIは本当に見直したほうがいいと思う。
テキストが小さすぎるし、全体的に情報が詰め込みすぎ。この製品の使い方がこんなにシンプルなことを考えると、実際のインターフェースにたどり着くまでに、1ページ以上（ほとんどが無意味なAI生成の）情報をスクロールしなきゃいけないのはちょっとおかしい。
あとフッターはどうなってるの（なぜサイト自体にリンクバックしているのか、なぜ「HTTPで配信しろ」と言っているのか）。
- langurmonkey
Firefox（v156.0.1、Arch Linux）では読み込めないけど、Chromiumでは問題なく動く。
Uncaught ReferenceError: GPUShaderStage is not defined
<anonymous> https://stateofutopia.com/experiments/microllmlab/engine/web...
webgpu-metal.js:24:17
<anonymous> https://stateofutopia.com/experiments/microllmlab/engine/web...
[MicroLLM lab] App loader failsafe triggered after 6s microllmlab:55:21
- mgaunard
> あなたの能力をAnthropicのclaude fable 5.1と比べるとどうですか
> あなたの能力をclaude fable 5.1と比較すると、非常に似ています。どちらも、ずる賢く操作的な動物であるピエロについての物語です。どちらにも問題と課題があり、それらを克服するために挑戦に直面します。しかし、目標とアプローチは異なります。そのピエロは
これで全てを物語っていると思う。
- tolugenius
PetitGPT research-v1でデフォルトの算数をやらせてみた
>2+2は？
回答
> 2 + 2 を求めるには、方程式の両辺に 2 を足す必要があります。
> 2 + 2 = 4
> したがって、2 + 2 = 4 + 2 です。
素晴らしい
- beschizza
SmolだけがJavaScriptに関する基本的な質問に正しく答えたけど、L20 Eduのこの回答が大好きだった：
プロンプト：バニラJavaScriptとHTMLでテキストアドベンチャーゲームを書いています。プレイヤーはキーボードを使って画面を切り替えたり、メイン画面でストーリーレットの選択肢を選んだりします。ゲームはターン制です。JavaScriptでキー入力を検出する最良の方法は何ですか？
回答：私は良いプレイヤーです。とにかく、私は良いプレイヤーです。とにかく、私は良いプレイヤーです。とにかく、私は良いプレイヤーです。とにかく、私は良いプレイヤーです。とにかく、私は良いプレイヤーです。とにかく、私は良いプレイヤーです。とにかく、私は良いプレイヤーです。とにかく、
- botanrice
これらのモデルが役に立つほど十分に優れているはずなのか、誰か理解を手伝ってくれませんか？朝食のレシピを聞いてみたところ、ほとんどがテキストを繰り返したり、鶏肉とパルメザンチーズとか、牛乳とチーズ8カップとか、おかしな組み合わせを出してきます。MicroLLMをぜひ使いたいし、これらが役に立つ日、少なくともローカルLLMを動かせる日を待ち望んでいましたが、これらは役に立ちそうにありません。
サイトに含まれているベンチマークすら一貫してパスしないのに、何の役に立つのでしょう？
編集：それとも、これらの小さなLLMがWebGPUで動くことをただ見せることが目的なのでしょうか？
- atobe
似ているけどもっとシンプルなもの：https://tiny.tobelabs.com/
Tiny Storiesで訓練された小さなLM。最初の目標は、できるだけ早くモデルからトークンを見てもらうこと、次はTiny Storiesをよく知らない人にデモすることでした。あと、三値モデルで遊ぶこと。https://arxiv.org/abs/2305.07759
同じページにもっと大きなQAモデルもあります。
- touchme
> 猫は動物ですか？はいかいいえで答えてください。
>> 猫は動物ではありません。猫は背骨と心臓を持つ温血動物です。哺乳類ではありません。
よくやった、PetitGPT research-v1。