homebench：ローカルLLMの速度・メモリ・品質を1コマンドでベンチマーク

Homebench – Benchmark local LLMs for speed, memory, and quality

homebenchは、Ollama、LM Studio、llama.cpp、vLLMなどのローカルLLMランナーを自動検出し、トークン/秒、初回トークンまでの時間、メモリ使用量、品質（31のタスク）を測定して、ターミナル上でライブなリーダーボードを表示するTUIツールです。設定不要で、pip install homebench && homebenchで実行できます。品質評価は決定的で、キャッシュにより再実行が高速です。また、バッチスループット測定や、ハードウェアに合うモデルを提案するfitコマンドも備えています。