Ein 3,8B-LLM für 998 Dollar trainiert – und GPT-2 deutlich geschlagen
Training a 3.8B LLM to 0.384 CORE for $998 – Hugo Vergnes
Hugo Vergnes hat in Abendstunden ein 3,8-Milliarden-Parameter-Modell trainiert, das auf dem CORE-Benchmark 0,384 erreicht – für 998 Dollar in 43 Stunden auf gemieteten B200-GPUs. Inspiriert von nanochat zeigt er, wie ein einzelner mit wenigen tausend Dollar ein Modell bauen kann, das GPT-2 (0,2565) weit hinter sich lässt. Der Bericht beschreibt, was funktionierte, was nicht und welche Infrastruktur sich auszahlte.
Irgendwo zwischen „nanoGPT-Spielzeug“ und „du brauchst ein Forschungslabor“ gibt es eine große, kaum beschriebene Region, in der eine einzelne Person mit ein paar tausend Dollar ein sinnvolles Modell trainieren kann.
- brainless
Immer mehr solcher Experimente. Ich war ein paar Monate lang traurig, als mir klar wurde, dass das Schreiben von Code seitdem nicht mehr dasselbe sein wird. Jetzt bin ich auf der anderen Seite.
LLMs sind auf ihre eigene Weise interessant, aber als Ingenieur ist dies ein Weg, eine neue Art des Softwarebaus zu erschließen.
Ich habe kürzlich einen Claude-unterstützten Excel/CSV-Parser für ein US-amerikanisches Property-Management-System (Steuer-Compliance) gebaut. Verwendet Haiku und hat viel deterministischen Code, um Spalten-/Zeilenkombinationen zu extrahieren, um bekannte Formate zu prüfen und schließlich die Header an Haiku zu übergeben, damit wir einen Übersetzungsplan für unsere Support-Spalten erhalten.
Diese würden irgendwann Teil der Software werden, in einem winzigen LLM. Die Lücke zwischen Training (solch winziger LLMs) und Inferenz wird schrumpfen. Wir können Claude für Randfälle konsultieren, einen Beispieldatensatz erstellen und das winzige LLM bei Bedarf trainieren, sodass wir seltener zu Claude gehen.
Das Tooling, das ein Projekt braucht, ist wirklich wichtig. Etwas, das ich auch gespürt habe. Nicht nur in LLM-Bauprojekten, sondern auch in regulären Softwareprojekten, die von LLMs generiert werden.
- rao-v
Das ist wirklich raffiniert! Ich wäre versucht, das noch einmal zu versuchen, mit Ziel ~1B Parametern und dem gesamten Kochbuch der "aktuellen" Ideen für kleine Modelle: gated delta nets (oder ist ~2K Kontext zu kurz, um zu profitieren?), per-Layer- oder n-gram-Embeddings, gated residuals usw.
- johnnylambada
Ich verurteile dich nicht dafür, ein LLM zu benutzen, um einen Artikel über ein LLM zu schreiben, das du gebaut hast. Ich habe so viel LLM-Output gelesen, dass ich ihn jetzt überall sehe. Ich frage mich, ob Menschen anfangen werden, mehr wie LLMs zu schreiben?