llmspeed - ハードウェア購入前にローカルLLMの実速度を体感
Show HN: Llmspeed – feel how fast a local LLM runs before you buy the hardware
llmspeedは、ローカルLLMを動かすハードウェアを買う前に、実際の体感速度を確認できるWebツールです。NVIDIA RTX 4090やMac Studio M5 Ultra、AMD Ryzen AI Max+ 395など多彩なハードウェアと、Llama 3.1 8BやQwen、DeepSeek、GPT-OSSといったモデル、量子化設定を選ぶだけで、トークン/秒やTTFT（初回トークンまでの時間）の推定値を即座に表示。コミュニティのベンチマークに基づく実測値と仕様からの推定値を組み合わせ、購入前の「思ったより遅い」という失敗を防ぎます。GitHubでオープンソース公開中です。
ハードウェアとモデルを選ぶだけで、買う前に本当の速さを体感できます。
HNでの議論
75- lopotubez
こういうベンチマークって、主流が「これが可能だ／動く」と言っていることを主にテストしている気がする。推論エンジンのさまざまな実装や、いろいろなタイプの構成（例えばハイブリッド構成や古いハードウェア）とその長所短所について耳にすることはほとんどない。あと、これらはごくわずかなトークン使用量でテストされたように見える。
現在、私は9年物のラップトップ、GTX 1070 Max-Q 8GB VRAM、16GB DDR4 RAM、i7 8750Hで動かしている。llamacppのフォーク（Turboquant）上で、4bit量子化したファインチューニング済みのQwen 3.5-35B-A3B（Tiel-Coder-35B-A3B-GGUF-MTP）を131kコンテキストで動かしていて、Piハーネスを使うと約16〜19 tk/s、プリフィルは350〜500 tk/sだ。スクリプトを書いたり、中程度のコーディング作業をしたり、テキストを要約したりするのには素晴らしい。100kコンテキストを超えると9 tk/sまで落ちるが、それは想定内だ。
最先端のLLMやこうしたベンチマークに聞けば、私のシステムで動かせる最良のモデルはショボい9Bモデルか何かだと答えるだろうが、それは完全に間違いだ。だから、もっと強力なシステムや、はるかに優れたオープンウェイトモデルからどれだけ引き出せるのか、本当に気になる。
- hizlikovboy27
ちょうどこの頃、勤めている会社でローカルLLMを動かすことを考えていた。どんなハードウェアが必要で、どの程度の性能が期待できるのかを把握しようとしていた。あなたのサイトでいくつか試してみたが、結果は実際の使用状況をどの程度反映しているのか？
私のユースケースでは、モデルはまず与えられたタスクを分析し、次にデータベースクエリを生成して実行し、最後に結果をクライアントに返す必要があるかもしれない。あなたの構成はこの種のワークフローをどの程度扱えるのか、また結果の精度はどうなのか？
よくできている。
- mirekrusin
数値が正確で、最適化版（つまり投機的デコーディング）やコンテキストサイズ、許容される並列推論（単一エージェントは並列推論をよく使う）などを含めてくれれば素晴らしいのだが。
一般に人はモデルの長いリストなど気にしておらず、ただ最良のものだけを気にしていると思う。
あとデュアルGPUはよくある構成なので、例えば2x 4090があるべきだ。
- gitowiec
こうしたシミュレーターには以下を入れてほしい：
- マルチGPU構成（異種および同種）
- PCIe世代の選択（3.0/4.0/5.0）
- NVLinkが有効か（2枚、2x2枚、3x2枚）
- PCIeが分岐されているかCPUネイティブか（例えばThreadripper Pro）
- kristopolous
数分だけ借りて試してみればいい……自分に合っているか感触をつかみたいだけなら、費用は$0.50をはるかに下回る。コンテキストウィンドウなど、これでは捉えきれないものがたくさんある。
どこに登録するかにもよるが、それは初回クレジット（たいてい$5〜10程度）の範囲内なので、実質$0だ。