NVIDIAの旧GPUは本当に陳腐化するのか？オープンウェイト推論がもたらす経済学
The Economics of Open-Weight Inference
NVIDIAの新世代GPUが旧世代を陳腐化させるという通説に、オープンウェイトモデルの需要が反証を突きつける。Artificial Analysis Intelligence Indexで比較すると、最安のオープンウェイトモデルは同等の閉鎖モデルの約5分の1のコストでタスクを完了。レンタルハードウェアでのセルフホスティングでは、出力100万トークンあたり0.12〜0.35ドルまで下がり、gpt-oss-120bではA100がH100より安く推論できる。Ornnのレンタルデータは、A100の5年契約価格が1ヶ月契約の80%を維持していることを示し、長期エージェントやバッチ評価などレイテンシ耐性のあるワークロードが旧GPUの収益寿命を支えていると論じる。
A100のコスト優位性は、スパースモデルのワークロードにおいて、新世代の登場が旧世代の経済的役割を必ずしも消滅させない理由を示している。
HNでの議論
26- hungryhobbit
黒い背景にダークグレーのテキスト：まるで誰にも記事を読ませまいとしているみたいだ！
- augment_me
面白い点だと思うのは、今日のハードウェアは報告された寿命が過ぎると依然として何の効用価値も持たないということだ。そのため、neolabsや小規模ラボが古いHWクラスタを手に入れることができない。銀行がそれらを担保に融資をしようとしないからだ。「期限切れ」のA100クラスタなどに対する合意された価格は存在しない。
これは明らかに真実ではないし、コンピュート市場が現れ始めているが、それはあくまでレンタル価格/時間の話であって、ハードウェア自体の話ではない。ここには新ハードウェアの販売を刺激するための人為的な堀が築かれているように感じる。なぜなら、1/16の価格のH100はVera Rubinと同等のドル/FLOPを持つだろうから。
- jcmontx
オープンウェイトモデルの問題は、IMO、フロンティアモデルの能力にすぐに慣れてしまうことだ。そして、オープンウェイトの「フロンティアマイナス2」や「フロンティアマイナス3」モデルにダウングレードするのはしばしば苦痛だ。なぜなら、それらは新しいクローズドウェイトの対応モデルよりもはるかに役に立たないと感じられるから。正直に言うと、大規模にOWモデルを業務（エージェントやチャットアシスタント）に使っている企業は知らない。