GLM 5.3 Flashで1ヶ月コーディング、予算の7倍のエネルギーを使った話
One month coding with GLM 5.3 Flash
Wagtailチームが1ヶ月間GLM 5.3 Flashだけで開発する挑戦を実施。前半は成功したが、後半は1Bトークンが他モデルに流出。vibe codingの失敗で450Mトークン・$150を一夜で消費し、インフラ性能劣化でDeepSeek V4.1 FlashやQwen 3.8 Flashへの切り替えも発生。最終的にエネルギー使用量は目標の10kWhを大幅に超える約35kWhに。得られた教訓と10月に向けた改善策をまとめている。
技術的にはこの挑戦は失敗だった。ターゲットモデルの使用率はわずか50%、2Bトークン中1B。エネルギー使用量は10kWhではなく約35kWhだった。
HNでの議論
44- epistasis
これらの数字で僕が本当に衝撃を受けたのは、エネルギー使用量の低さなんだ:
> そのモデルの使用量は予算内に十分収まっていた($68、エネルギー使用量は約4kWh / 二酸化炭素排出量は365グラム)。
エネルギーコストは文字通り総コストの1%だ。参考までに言うと、4kWhのエネルギーがあればEVで約15マイル走れる。これは平均的な人の1日の運転距離のおよそ半分だ。10ガロンの水を沸騰させるのに相当する。
AIデータセンターが世界に与える影響についての議論を聞いていると、ここで使われているような効果を得るにはエネルギー量が10倍から100倍になると思うだろう。
僕の結論: AIデータセンターの建設は、大量のダークファイバーを残したあのファイバー建設と同じくらい、おそらくはそれ以上に過剰建設だ。経済を救う唯一のものは、NVIDIAとチップファブが計画された建設に追いつくだけのチップを生産できないことだろう。
- aktenlage
> 残念ながら、それにはまだ代償が伴う。プロトタイプに「間違った」モデルを選んでしまい、ほぼ一晩で450Mトークン / $150 / 5kWhのエネルギー使用量を費やした。MCPサーバー自体はうまく機能していて、今は能力の素晴らしいデモがあるので、無駄ではなかった:
> とはいえ、モデル選択とエージェント的パターンには注意すべきだという良い教訓だ。おそらく5分の1のコストで、それほど手間をかけずに同様の結果を得られたはずだ。勉強になった! これには予算を組んで、もっと注意深くならなければ。予見できたかもしれないが、今ならわかる。
わからない。なぜ間違っていたのか? どれが良かったのか? 教訓は何で、どうすれば予見できたのか?
- sheepscreek
> 450Mトークン / $150 / 5kWh
ChatGPTのサブスクのありがたみが身にしみる。1日で1B〜2Bトークンを使った日も何度かあるし(今はもっと少ない、モデルは本当にトークン効率が良くなった)、定期的に100Mを超える範囲だ。それでも$150は過剰に思える。何らかの理由でキャッシュが吹き飛ばされているのか、あるいはキャッシュされたトークンを補助しないCerebrasを使うことにしたのかもしれない。
- monksy
GLM5.3-flashは、曖昧な形で小さな修正をするのに僕にとって素晴らしかった。「x機能を直して、何がおかしいのか」という感じで。仕事をしてくれる。
- disiplus
この投稿はLLMで生成されたのか、なぜ正確に失敗したのかを例を挙げてきちんとどこかに書いていたのか、それとも僕が読むのに苦労しているだけなのか。