Magic、DeepSeek V4 Proと同等性能を50分の1の計算量で達成——1000億ドル規模の壁を突破
>10x More Efficient Pretraining
Magicが、最先端のオープンウェイトベースモデルと比べて10倍以上計算効率の高い事前学習レシピを発表した。DeepSeek V4 Pro Baseと同等の性能を約50分の1のFLOPs（GPT3の事前学習計算量の約半分、GB200で約50万ドル）で達成し、さらに10倍スケール（約400万ドル）では公開されているすべてのオープンベースモデルをperplexity評価で上回った。スケーリング則に基づけば、同性能をDeepSeek V4 Proのレシピで訓練すると1億ドル以上かかる計算になる。同社は、事前学習・エージェントRL・長文脈を組み合わせれば超人的コーディングエージェントとAI R&Dの自動化が可能になると信じている。
我々はまだ10万チップを持っていない。だから方法は一つしかない——アルゴリズム効率だ。
HNでの議論
53- woadwarrior01
彼らには2024年のこれ[1]のような大げさな主張をして、目に見える製品や研究がないという前歴がある。
[1]: https://magic.dev/blog/100m-token-context-windows （彼らのブログ投稿でもリンクされている）
- simonw
> 我々はDeepSeek V4 Pro Baseを約50分の1のFLOPsで匹敵する——それはGPT3の事前学習計算量の約半分、つまりGB200で約50万ドルに相当する。
もしこれが本当なら、とんでもない大事件だ。
- pvillano
多くの人々が、AIの性能、計算使用量、ユーザーベース、サブスクリプション価格が永遠に無限成長し続けることに賭けている。
私はコストは永遠に下がり続けると思う。
- ansk
彼らが比較している特定のモデルについて十分に知らないので断言はできないが、私には彼らが自分の事前学習済みモデルと他者の事後学習済みモデルを比較しているように見える。
彼らの10倍という主張の根拠となっている指標（bits-per-byte）は、まさに事前学習中に最適化される指標だ。事後学習済みモデルは他の指標を最適化するように微調整されており、それがbits-per-byte評価の性能を損なうことが知られている。したがって、bits-per-byte評価では、事後学習も施された同等のモデルと比較して、事前学習済みモデルの方が常に有利に見える。
彼らが比較しているモデル（DeepSeek V4、Kimi K2、Nemotron 3 Ultra）が事後学習済みかどうか、誰か確認できるだろうか？
- ismael_rr
素晴らしい。これを達成するために何をしたのか論文を公開してほしい。nousがトークン重ね合わせの論文を発表して事前学習FLOPsをいくらか改善したのは覚えているが、50倍ではなかった：https://nousresearch.com/token-superposition。彼らも何かクールなトークン化戦略を見つけたのだろうか。