Dieselbe H100 kostet je nach Anbieter 2,69 oder 12,29 Dollar pro Stunde
The same H100 costs $2.69 or $12.29 an hour depending where you rent it
Eine Auswertung der On-Demand-Preise von AWS, Azure und den Neoclouds zeigt: Für dieselbe H100 SXM 80GB zahlt man zwischen 2,69 Dollar bei RunPod Community und 12,29 Dollar bei Azure – ein Faktor von 4,57. Ein Dauerbetrieb über einen Monat kostet so 1.964 oder 8.972 Dollar. Der Unterschied ist aber nicht reine Marge: Azure liefert dafür InfiniBand mit 400 Gbps pro GPU, SLA und Enterprise-Compliance, was vor allem beim Multi-Node-Training zählt.
Ein billiger H100, den man nicht bekommt, ist kein Preis.
- plantain
Du bist völlig verrückt, wenn du irgendeine Art von wertvoller Workload auf Runpod Community oder Vast laufen lässt. Die Hosts schauen absolut in die VMs hinein (das wird offen in ihren Discords diskutiert).
- noodlesUK
Eine Sache, die ich nicht oft erwähnt sehe, ist, dass es wirklich schwer ist, die GPUs tatsächlich zu bekommen, die Hyperscaler bewerben – je nach Region, Nutzung von Cloud-Guthaben usw.
Auf Azure bekommst du, wenn du Guthaben hast (auch Hunderttausende von USD Guthaben durch Programme wie MSFT for Startups), einfach kein GPU-Kontingent in irgendeiner Region, selbst wenn du bei den Support-Mitarbeitern bettelst und flehst. Selbst wenn du Bargeld hast, ist es oft schwierig, eine der günstigeren Karten zu bekommen. Spot-Instanzen usw. kannst du vergessen, weil die Regionen im Wesentlichen alle zu 100 % ausgelastet sind.
Ich habe gehört, dass es bei anderen Hyperscalern ebenfalls eine Herausforderung ist.
Das ist super ernüchternd für alles außer GenAI-Inferenz/Training, denn wenn du eine eher traditionelle Workload hast, die GPUs erfordert (traditionelles ML, andere Arten der Modellierung), bist du am Arsch.
- itkovian_
Eine interessante Sache, die vor sich geht, ist Gerätebetrug auf den Drittanbieter-Marktplätzen – d. h. die Taktfrequenz ändern, Geräte aufteilen und dasselbe gleichzeitig vermieten und hoffen, dass die Mieter es nicht merken; alles, was du dir vorstellen kannst, versucht jemand.
Auch in den preemptible (Spot)-Märkten gibt es viele interessante Dynamiken. Wenn du schlau bist, würde ich sagen, gibt es einen >10-fachen Kostenvorteil gegenüber den On-Demand-Preisen der Hyperscaler, praktisch ohne Nachteil. Alles ist jetzt auch mit Agenten einfach, also wird es wahrscheinlich bald wegkonkurriert werden (man sieht bereits, dass die Spot-Preise in den letzten 3 Monaten deutlich gestiegen sind und sich knapp unter die On-Demand-Preise annähern).
- buredoranna
Es gibt ein paar neue Indizes da draußen.
[1] "Silicon Index". Basiert auf Preisbeobachtungen, einschließlich Listenpreisen und Transaktionsdaten.
[2] "Ornn Compute Price Index (OCPI)". Behauptet, nur ausgeführte Transaktionen zu verwenden.
Deine Ergebnisse können variieren, aber ich finde diese neuen Indizes ziemlich überzeugend.
[1] https://www.silicondata.com/products/silicon-index
Und ja, es geht nicht nur darum, wie viel diese Ressourcen kosten, sondern wie viel die Leute bereit sind, dafür zu zahlen.
(edit: Formatierung)
- uneekname
> 4,57× zwischen billigstem und teuerstem, für denselben Chip
> Was die 4,57× nicht sind
> - InfiniBand
> - Ein Datacenter-SLA
> - Enterprise-Compliance, garantierte Kapazität...
ok