Один и тот же H100 стоит $2,69 или $12,29 в час — в зависимости от того, где его арендовать
The same H100 costs $2.69 or $12.29 an hour depending where you rent it
Автор сравнил цены на почасовую аренду H100 SXM 80GB у AWS, Azure и неоклаудов, нормализовав их до долларов за GPU-час и группируя только одинаковые чипы. Разница между самым дешёвым вариантом (RunPod Community, $2,69) и самым дорогим (Azure ND96isr_H100_v5, $12,29) — 4,57 раза: месяц непрерывной работы обойдётся в $1 964 или $8 972. Но это не чистая маржа: у Azure есть InfiniBand 400 Гбит/с на GPU, SLA дата-центра и корпоративный комплаенс.
Если вы дообучаете модель на одном узле, вы платите за интерконнект, который никогда не используете. Если вы тренируете на 64 узлах, дешёвая строка — не вариант.
- plantain
Ты абсолютно безумен, если запускаешь какие-либо ценные рабочие нагрузки на Runpod community или Vast. Хосты совершенно точно заглядывают внутрь VM (это открыто обсуждается в их Discord-серверах).
- noodlesUK
Одна вещь, которую я вижу упоминаемой не очень часто, — это то, что на самом деле довольно трудно получить те GPU, которые рекламируют гиперскейлеры, в зависимости от твоего региона, использования облачных кредитов и т.д.
В Azure, если у тебя есть кредиты (даже сотни тысяч долларов кредитов через такие программы, как MSFT for startups), ты просто не получишь никакой квоты на GPU ни в одном регионе, даже если будешь умолять и упрашивать представителей поддержки. Даже если у тебя есть наличные, часто трудно получить хоть какие-то из более дешёвых карт. О spot-инстансах и прочем можно забыть, потому что регионы по сути все загружены на 100%.
Я слышал, что у других гиперскейлеров это тоже непросто.
Это крайне удручает для всего, кроме инференса/обучения GenAI, потому что если у тебя есть какая-то более традиционная нагрузка, требующая GPU (традиционный ML, другие виды моделирования), то ты в пролёте.
- itkovian_
Одна интересная штука происходит — мошенничество с устройствами на сторонних маркетплейсах: то есть изменение тактовой частоты, разделение устройств и сдача одного и того же в аренду одновременно в надежде, что арендаторы не заметят, — всё, что можно придумать, кто-то уже пробует.
Много интересной динамики и на preemptible (spot) рынках. Если ты умён, я бы сказал, что можно получить более чем 10-кратное преимущество по стоимости по сравнению с OD-ценами гиперскейлеров практически без недостатков. Всё это теперь легко и с агентами, так что, вероятно, скоро это выровняется конкуренцией (ты уже видишь это: spot-ставки значительно выросли за последние 3 месяца и сошлись к чуть ниже OD-цен).
- buredoranna
Есть пара новых индексов.
[1] "Silicon Index". Построен на основе наблюдений за ценами, включая указанные цены и данные транзакций.
[2] "Ornn Compute Price Index (OCPI)". Утверждают, что используют только совершённые транзакции.
Ваш опыт может отличаться, но мне эти новые индексы кажутся весьма убедительными.
[1] https://www.silicondata.com/products/silicon-index
И да, дело не только в том, сколько стоят эти ресурсы, но и в том, сколько люди готовы за них платить.
(правка: форматирование)
- uneekname
> 4,57× между самым дешёвым и самым дорогим, для одного и того же чипа
> Чего в этих 4,57× нет
> - InfiniBand
> - SLA датацентра
> - Корпоративного соответствия, гарантированной ёмкости...
ок