TurboGPT - Train a tiny GPT in under a minute
Show HN: TurboGPT: train 22KiB transformer in 13s
TurboGPT ist ein CUDA-basiertes Projekt, das einen winzigen GPT-Transformer mit nur 22 KiB in gerade einmal 13 Sekunden trainiert. Es richtet sich an Entwickler und Forscher, die Transformer-Modelle schnell experimentell testen möchten, ohne auf leistungsstarke Hardware oder langwierige Trainingsläufe angewiesen zu sein. Die Implementierung umfasst eine C++-Runtime, PyTorch-kompatible Checkpoints, TensorBoard-Logs und eine einfache Konfiguration über experiment.h. Ideal für Lehrzwecke, Prototyping und das Verständnis von GPT-Architekturen im Kleinstformat.
Trainiere einen winzigen GPT in weniger als einer Minute – nur mit CUDA.
- _345
Ich versuche, ein bisschen weniger negativ zu sein als der Typ, der geflaggt wurde, aber auch ich verstehe die Motivation hinter diesen Projekten nicht. Ich habe mittlerweile hundert davon gesehen – und jedes einzelne ist wahrscheinlich schlechter und hat weniger Lerneffekt als das, was Andrej Karpathy gemacht hat, um Leuten die Bausteine eines GPT beizubringen.
Also, warum machen die Leute das immer wieder? Ich frage ernsthaft.
- vjsrinivas
Interessanter Trend, Modelle danach zu benennen, wie groß sie auf der Festplatte sind, statt nach der Anzahl der lernbaren Parameter, die sie haben.
- jey
In dieser Größenordnung scheint es, als könnte man einfach die KKT-Bedingungen direkt lösen. Übertrieben, aber nur ein bisschen.