TurboGPT - 22KiBのTransformerを13秒でトレーニング
Show HN: TurboGPT: train 22KiB transformer in 13s
TurboGPTは、CUDA環境で超小型GPTを1分以内にトレーニングできるオープンソースプロジェクトです。22KiBのTransformerモデルをわずか13秒で学習でき、C++ランタイムとPyTorch互換のチェックポイント、TensorBoardログ、実験設定ファイルを備えています。大規模な計算資源がなくても、Transformerの仕組みを理解し、実験できるのが最大の魅力。AI研究や教育、プロトタイピングに最適なツールです。
22KiBのTransformerをわずか13秒でトレーニング。小型ながら本格的なGPTを、手軽に試せる時代へ。
HNでの議論
10- _345
フラグ立てされた人よりは少しネガティブにならないようにしたいけど、自分もこういうプロジェクトの動機が理解できない。もう100個は見てきたし、そのどれもがAndrej KarpathyがGPTの構成要素を教えるために作ったものより劣っていて、学習価値も低いだろう。
それなのに、なぜみんなこういうのを作り続けるんだ？本気で聞きたい
- vjsrinivas
ディスク上のサイズでモデルにラベルを付ける傾向と、学習可能なパラメータ数でラベルを付ける傾向の違いが面白い。
- jey
その規模ならKKT条件を直接解けばいいだけでは？大げさだけど、ほんの少しだけね。