같은 H100인데 시간당 $2.69부터 $12.29까지, 4.57배 차이
The same H100 costs $2.69 or $12.29 an hour depending where you rent it
동일한 H100 SXM 80GB를 온디맨드로 빌릴 때 시간당 가격이 어디서 빌리느냐에 따라 최대 4.57배 벌어진다. RunPod Community는 $2.69, AWS p5.48xlarge는 $6.88, Azure ND96isr_H100_v5는 $12.29로, 한 달 내내 돌리면 $1,964와 $8,972로 갈린다. 이 격차는 단순 마진이 아니라 400Gbps InfiniBand, 데이터센터 SLA, 엔터프라이즈 컴플라이언스 같은 하이퍼스케일러만의 기능을 포기한 대가다. 단일 노드 파인튜닝이라면 쓰지도 않을 인터커넥트에 돈을 내는 셈이다.
만약 한 노드에서 파인튜닝을 하고 있다면, 당신은 절대 쓰지 않을 인터커넥트 비용을 지불하고 있는 것이다. 64개 노드에 걸쳐 학습을 한다면, 저렴한 쪽은 선택지가 아니다.
HN 토론
84- plantain
Runpod 커뮤니티나 Vast에서 어떤 종류든 가치 있는 워크로드를 돌리고 있다면 당신은 완전히 미친 사람입니다. 호스트들은 VM 내부를 확실히 들여다보고 있습니다(그들 Discord에서 공공연히 논의되는 걸 볼 수 있습니다).
- noodlesUK
여기서 자주 언급되지 않는 한 가지는, 지역이나 클라우드 크레딧 사용 등에 따라 하이퍼스케일러가 광고하는 GPU를 실제로 확보하기가 정말 어렵다는 점입니다.
Azure에서는 크레딧이 있어도(MSFT for startups 같은 프로그램을 통해 수십만 달러어치 크레딧이 있어도) 지원 담당자에게 애원하고 빌어도 어느 지역에서든 GPU 할당량을 전혀 받을 수 없습니다. 현금이 있어도 더 저렴한 카드를 확보하기란 대개 어렵습니다. 스팟 인스턴스 같은 건 잊어버리세요. 지역들이 사실상 전부 100% 용량에 도달해 있으니까요.
다른 하이퍼스케일러들도 마찬가지로 어렵다고 들었습니다.
이건 GenAI 추론/학습 외의 모든 것에 있어서 정말 암울합니다. GPU가 필요한 좀 더 전통적인 워크로드(전통적 ML, 다른 종류의 모델링)가 있다면 당신은 답이 없습니다.
- itkovian_
흥미로운 점 중 하나는 제3자 마켓플레이스에서의 기기 사기입니다. 즉 클럭 속도를 바꾸거나, 기기를 쪼개서 같은 기기를 동시에 임대하고 임차인이 눈치채지 못하기를 바라는 것 등, 생각할 수 있는 모든 수법을 누군가 시도하고 있습니다.
선점형(스팟) 시장에서도 흥미로운 역학이 많이 일어납니다. 똑똑하다면 하이퍼스케일러 온디맨드 가격 대비 기본적으로 단점 없이 10배 이상의 비용 우위를 누릴 수 있다고 말하고 싶습니다. 이제 에이전트로도 다 쉬워졌으니 곧 경쟁으로 사라질 가능성이 큽니다(지난 3개월간 스팟 요금이 크게 올라 온디맨드 가격 바로 아래로 수렴하는 걸 이미 볼 수 있습니다).
- buredoranna
새로운 지수들이 몇 가지 나와 있습니다.
[1] "Silicon Index". 호가 가격과 거래 데이터를 포함한 가격 관측치를 기반으로 구축되었습니다.
[2] "Ornn Compute Price Index (OCPI)". 실제 체결된 거래만 사용한다고 주장합니다.
사람마다 다를 수 있겠지만, 저는 이 새로운 지수들이 꽤 설득력 있다고 생각합니다.
[1] https://www.silicondata.com/products/silicon-index
그리고 맞습니다, 중요한 건 이 자원들의 비용이 얼마인지만이 아니라 사람들이 이에 얼마를 기꺼이 지불하는가입니다.
(수정: 서식)
- uneekname
> 같은 칩인데 최저가와 최고가 사이가 4.57배
> 4.57배가 아닌 것
> - InfiniBand
> - 데이터센터 SLA
> - 엔터프라이즈 컴플라이언스, 약정 용량...
오케이