llmspeed - Teste die Geschwindigkeit lokaler LLMs vor dem Hardware-Kauf
Show HN: Llmspeed – feel how fast a local LLM runs before you buy the hardware
llmspeed ist ein webbasiertes Tool, mit dem du die reale Performance lokaler LLMs erleben kannst, bevor du teure Hardware kaufst. Wähle einfach eine GPU oder einen Mac aus der umfangreichen Liste – von NVIDIA RTX 4090 über Mac Studio M5 Ultra bis hin zu CPU-only-Setups – und kombiniere sie mit einem Modell wie Llama 3.1 8B oder Qwen 3.5 9B. Du siehst sofort Tokens pro Sekunde, Time-to-First-Token und kannst Konfigurationen direkt miteinander vergleichen. Die Werte stammen aus Community-Benchmarks von r/LocalLLaMA und localscore.ai oder werden aus Spezifikationen abgeleitet. So triffst du eine fundierte Kaufentscheidung, ohne erst Hardware bestellen zu müssen. Das Projekt ist Open Source auf GitHub verfügbar.
Wähle Hardware und Modell – und spüre die echte Geschwindigkeit, bevor du kaufst.
- lopotubez
Ich habe das Gefühl, dass diese Art von Benchmarks hauptsächlich testet, was einem der Mainstream als möglich oder funktionierend verkauft. Man hört selten von den verschiedenen Implementierungen von Inference-Engines, verschiedenen Setup-Typen (z. B. hybriden oder älterer Hardware) und deren Vor- und Nachteilen. Außerdem scheinen diese mit minimalem Token-Verbrauch getestet worden zu sein.
Aktuell auf meinem 9 Jahre alten Laptop mit einer GTX 1070 Max-Q 8GB VRAM, 16 GB DDR4 RAM und i7 8750H. Ich betreibe ein feinabgestimmtes Qwen 3.5-35B-A3B (Tiel-Coder-35B-A3B-GGUF-MTP) mit 4-Bit-Quantisierung auf einem llamacpp-Fork (Turboquant) mit 131k Kontext bei etwa 16-19 tk/s und 350-500 tk/s Prefill unter Verwendung des Pi-Harness. Es ist erstaunlich für das Schreiben von Skripten und mittlere Coding-Aufgaben sowie zum Zusammenfassen von Text für mich. Ab etwa 100k Kontext fällt es auf 9 tk/s ab, aber das ist zu erwarten.
Wenn man jemals ein Frontier-LLM oder diese Art von Benchmarks fragt, würden sie wahrscheinlich sagen, dass das beste Modell, das ich auf meinem System ausführen kann, ein mieses 9B-Modell oder so ist, was einfach komplett falsch ist. Also frage ich mich wirklich, wie viel mehr man aus leistungsfähigeren Systemen und viel besseren Open-Weight-Modellen herausholen kann.
- hizlikovboy27
Um diese Zeit dachte ich darüber nach, ein lokales LLM für die Firma, für die ich arbeite, laufen zu lassen. Ich versuche herauszufinden, welche Art von Hardware ich bräuchte und welche Leistung ich erwarten könnte. Ich habe ein paar Dinge auf deiner Website ausprobiert, aber wie sehr spiegeln die Ergebnisse die reale Nutzung wider?
In meinem Anwendungsfall müsste das Modell möglicherweise zuerst eine gegebene Aufgabe analysieren, dann eine Datenbankabfrage generieren und ausführen und schließlich die Ergebnisse an den Client zurücksenden. Inwieweit könnte dein Setup diese Art von Workflow bewältigen und wie genau sind die Ergebnisse?
Gute Arbeit.
- mirekrusin
Es wäre großartig, wenn die Zahlen nicht daneben lägen, optimierte Versionen enthalten würden (z. B. spekulative Dekodierung), Kontextgröße, erlaubte parallele Inferenz (einzelne Agenten nutzen häufig parallele Inferenz) usw.
Ich glaube nicht, dass die Leute im Allgemeinen eine lange Liste von Modellen interessiert, sie interessiert nur das beste.
Außerdem ist Dual-GPU ein gängiges Setup, es sollte z. B. 2x 4090 geben.
- gitowiec
Ich würde mir in solchen Simulatoren wünschen:
- Multi-GPU-Konfiguration (heterogen und homogen)
- PCIe-Gen-Auswahl (3.0/4.0/5.0)
- ist NVLink aktiviert (2 Karten, 2 x 2 Karten, 3 x 2 Karten)
- ist PCIe bifurcated oder CPU-nativ (z. B. Threadripper Pro)
- kristopolous
Miete einfach für ein paar Minuten einen und probier es aus ... es kostet dich deutlich unter 0,50 $, wenn du nur ein Gefühl dafür bekommen willst, ob es das Richtige für dich ist. Es gibt viele Dinge wie das Kontextfenster, die dies nicht erfasst.
Je nachdem, wo du dich anmeldest, liegt das innerhalb der Einstiegsguthaben (normalerweise etwa 5-10 $), also ist es tatsächlich 0 $.