同じH100が時間2.69ドルにも12.29ドルにもなる理由

The same H100 costs $2.69 or $12.29 an hour depending where you rent it

▲ 167datareceipts84 HNでの議論

AWS、Azure、そしてneocloud各社のオンデマンドGPU価格を「1GPUあたり1時間のドル」に正規化し、同一のGPU同士だけで比較した調査。H100 SXM 80GBはRunPod Communityの2.69ドルからAzureの12.29ドルまで4.57倍の差がつき、1カ月連続稼働なら1,964ドルと8,972ドルになる。ただしこの差は単純な利益率ではなく、InfiniBandやデータセンターSLA、エンタープライズ向けコンプライアンスを犠牲にした結果だと丁寧に説明している。

64ノードにまたがるトレーニングをするなら、安い方の行は選択肢にならない。
原文を読む →HNでの議論RSS

HNでの議論

84
  1. plantain

    RunpodコミュニティやVastで価値のあるワークロードを動かしているなら、完全に頭がおかしい。ホストはVMの中を確実に覗き見している（彼らのDiscordで公然と議論されているのを見ることができる）。

  2. noodlesUK

    あまり頻繁に言及されていないことの一つは、リージョンやクラウドクレジットの利用状況などによって、ハイパースケーラーが宣伝しているGPUを実際に入手するのは本当に難しいということだ。

    Azureでは、クレジット（MSFT for startupsのようなプログラムを通じた数十万ドルのクレジットであっても）を持っていても、サポート担当者に懇願しても、どのリージョンでもGPUクォータを取得できない。現金があっても、安価なカードを手に入れるのはしばしば困難だ。リージョンは基本的にすべて100%の容量に達しているので、スポットインスタンスなどは忘れたほうがいい。

    他のハイパースケーラーでも同様に困難だと聞いている。

    これはGenAIの推論/トレーニング以外にとっては非常に冷ややかな状況だ。なぜなら、GPUを必要とするより伝統的なワークロード（従来のML、他の種類のモデリング）がある場合、あなたはSOL（詰んでいる）だ。

  3. itkovian_

    興味深いことの一つは、サードパーティのマーケットプレイスでのデバイス詐欺だ。つまり、クロック速度を変更したり、デバイスを分割して同じものを同時に貸し出し、借り手が気づかないことを願ったり、考えられるあらゆることを誰かが試している。

    プリエンプティブル（スポット）市場にも多くの興味深いダイナミクスがある。賢ければ、ハイパースケーラーのオンデマンド価格と比較して基本的にデメリットなしで10倍以上のコスト優位性が得られるだろう。エージェントを使えば今はすべて簡単なので、すぐに競争で消える可能性が高い（過去3ヶ月でスポット料金が大幅に上昇し、オンデマンド価格のすぐ下に収束しているのがすでに見られる）。

  4. buredoranna

    いくつか新しいインデックスが出ている。

    [1]「Silicon Index」。価格観測（表示価格や取引データを含む）に基づいて構築されている。

    [2]「Ornn Compute Price Index (OCPI)」。実行された取引のみを使用すると主張している。

    あなたの状況によるかもしれないが、私はこれらの新しいインデックスがかなり説得力があると思う。

    [1] https://www.silicondata.com/products/silicon-index

    [2] https://data.ornn.com/

    そしてそう、これらのリソースのコストだけでなく、人々がそれらにいくら払ってもよいと思うかも重要だ。

    （編集：フォーマット）

  5. uneekname

    > 同じチップで、最安値と最高値の間で4.57倍

    > 4.57倍が意味しないもの

    > - InfiniBand

    > - データセンターSLA

    > - エンタープライズコンプライアンス、コミット済み容量...

    なるほど

この日のほかの記事

2026-11-09