純C製の「MicroGPT」がApple M5で毎秒1000万トークンを達成

Microgpt in pure C hits 10M tps on Apple m5

GitHubで公開された「microgpt-c」は、依存関係ゼロの純C言語でGPTの学習と推論を実装したキャラクターレベルのTransformer。約32,000件の名前データを数秒で学習し、新しい名前を生成する。Apple M5 ProのNEONバックエンドで毎秒10,168,430トークン、AMD Ryzen 5 5600HのAVX2で毎秒6,927,775トークンを記録。モデルは4,192パラメータで、未学習データに対しても汎化性能を示す。