광케이블은 수십 년, GPU는 3년… AI 붐은 닷컴 붐이 아니다
Fiber lasts decades, GPUs last three years: the AI boom isn't the dot-com boom [video]
AI 데이터센터에 쏟아지는 투자를 닷컴 버블과 비교하는 시각에 의문을 제기하는 영상이다. 광케이블은 수십 년을 버티지만 GPU는 3년이면 교체된다는 점에서 자산의 수명 구조가 다르다는 지적이다. Hacker News 댓글에서는 모델 학습 후 추론 비용이 저렴해지고 소형 모델이 빠르게 강해지는 흐름이 하이퍼스케일러의 투자 회수에 부담이 될 수 있다는 논쟁이 이어졌다. 결국 이 막대한 지출은 비디오 생성이 크게 성공해야만 성과를 낼 수 있다는 관측도 나온다.
모델을 쓰는 비용이 싸다고? 다른 회사가 조금 더 나은 모델을 내놓는 순간, 당신 모델은 충분히 싸지 않게 된다.
HN 토론
53- ndom91
뻔뻔한 자기 홍보: 최근에 AI 인프라 구축 재무 데이터 시각화 프로젝트/페이지를 만들었습니다. 여기에는 GPU 감가상각 일정 같은 것들의 업데이트를 추적하는 그래프가 포함되어 있습니다.
- paxy
- GPU는 3년보다 훨씬 오래갑니다.
- 공장은 3년 후에 작동을 멈추지 않습니다. 계속 GPU를 만들 수 있습니다.
- AI 붐은 GPU만의 문제가 아닙니다. CPU, RAM, 네트워킹 및 라우팅 부품, 물리적 데이터 센터, 발전소, 냉각, 심지어 광케이블(당신이 수십 년 간다고 주장하는 그것)에 막대한 투자가 있었습니다. 이 중 어느 것도 몇 년 안에 사라지지 않을 것입니다.
- whynotminot
A100(6년 된 GPU) 임대료에 관한 데이터를 살펴보고 50분을 아끼시길 권합니다.
- cmiles8
구형 GPU에도 용도는 있지만, 칩에는 신뢰성 문제가 있습니다. 24/7 혹독하게 돌리면 칩이 타버린다는 사실이 밝혀졌습니다. 따라서 앞으로 '유용할 것인가'보다는 '여전히 작동할 것인가'가 더 문제입니다.
사람들은 15년 간다고 광고하는 LED 전구가 2년 후부터 높은 비율로 망가지기 시작하는 것과 비슷하다고 보고 있습니다.
별개로, 더 넓은 요점은 여전히 방향성 측면에서 맞습니다. 우리는 오늘날에도 닷컴 네트워크 인프라 붕괴 때 깔린 광케이블을 사용하고 있으며 앞으로도 오래 사용할 것입니다. 감가상각 주기는 엄청나게 깁니다. 전력을 공급할 데이터 센터가 없어서 GPU가 선반에 쌓여 있다는 보고가 늘어나는 것은, 궁극적으로 빠르게 감가상각되는 자산을 사기 위해 고금리 부채를 사용하고 있다는 점을 고려하면 매우 우려스럽습니다. 재무적으로 이는 재앙을 기다리는 일입니다.
- deadlast2
AI 작업에 opencode를 사용하거나 그것이 저렴해진다면. LLM 버전의 지능으로 애플리케이션을 합리적으로 구축할 수 있을 정도로. 가까운 미래에 지능은 무료가 될 것이고 무료에는 사업이 없다고 생각합니다. 큰 발언인 것은 알지만, 주변을 둘러보면 점진적으로 강력해지는 무료 모델이 이미 많이 있습니다. 대부분의 애플리케이션에는 gpt6이 필요하지 않습니다.