Revolut, 2,000명 엔지니어를 자체 호스팅 GLM으로 옮기다
Revolut moves to self-hosted GLM
Revolut이 약 2,000명의 엔지니어를 자체 호스팅 GLM으로 전환하고 Claude Code와 Codex는 예외 목록으로 밀어냈다. AI 운영을 이끄는 David Abitbol에 따르면 Nvidia B200 56대로 백만 토큰당 30센트, Anthropic과 OpenAI에 지불하던 비용의 약 10분의 1 수준이다. 엔지니어링 리드 타임은 70% 개선됐다. 핵심은 토큰 배급이 사라지자 엔지니어들이 AI를 어려운 티켓에만 아끼지 않고 모든 작업에 쓰기 시작했다는 점이다.
토큰이 배급되기를 멈추자 성과가 나타났다. 엔지니어들은 AI를 어려운 티켓에만 아끼지 않고 모든 일에 투입했다.
HN 토론
153- littlecranky67
"토큰이 배급되던 때가 끝나자 성과가 나타났다" - 완전히 공감합니다. 저는 거대 보험 회사의 대형 개발팀을 (외부 컨설턴트로서) 이끌고 있습니다. 개발자들은 꽤 주니어이거나, 대체로 "이 회사가 1시간 거리 내 유일한 대형 고용주라서 여기서 소프트웨어 엔지니어가 된" 유형의 사람들입니다(즉, 록스타 개발자는 아닙니다). 대부분은 여가 시간에 AI를 가지고 놀지 않고, claude 토큰을 현명하게 쓰라고 들었습니다. 이제 모두가 '토큰 셰임' 당할까 봐 업무 시간에 그것을 가지고 놀거나 탐색하는 것을 너무 두려워합니다.
동시에 그들의 주니어 개발 업무 대부분은 AI로 완전히 대체될 수 있으므로, 그들은 정말로 그것과 함께 일하는 법을 배우기 시작해야 합니다. 저는 모든 사람에게 개인용 20€/월 claude 구독을 해서 토이 프로젝트에 쓰라고 권했습니다. 팀에 있는 젊은 개발자들(20대 초반)은 개인 돈을 쓰지 않겠다거나, 사생활에서 AI를 쓸 용도가 없다고 말했습니다. 우리는 소프트웨어 엔지니어에 대해 이야기하고 있고, 제 생각에 그들 대부분은 가치 있는 쪽으로 전환하지 않으면 자신의 기술이 대부분 무가치해졌다는 사실을 부정하고 있습니다.
- jacquesm
우리도 같은 일을 했습니다. 훨씬 덜 강력한 하드웨어에서요. 하지만 그것은 우리에게 아주 잘 맞았고, 추론 서비스 공급업체가 장기적으로 우리 데이터를 신뢰할 수 있는지에 대해 전혀 걱정할 필요가 없습니다. 제 생각에 그 질문에 대한 답은 '절대 아니다'입니다.
- redmalang
지난 몇 달 동안 우리가 하는 작업의 약 90%는 오픈 소스 모델로 갑니다. '저렴함' 같은 소음을 무시하면, 필요한 것을 더 정확히 정의하려는 약간의 추가 노력만으로 이 모델들이 일반적으로 비슷하게 작동하고 지시를 더 잘 따르는 것을 알 수 있습니다. 장기적으로 보면 이것은 실제로 꽤 도움이 됩니다.
그들은 '모든 문제를 고쳐' 같은 모호한 프롬프트에는 덜 능합니다(부끄럽게도 그것이 아주 흔한 프롬프트라는 것이 밝혀졌습니다..)
- gosen
> 그곳의 AI 운영을 이끄는 David Abitbol에 따르면: 56개의 Nvidia B200, 백만 토큰당 혼합 30센트, 그들이 Anthropic과 OpenAI에 지불했던 것의 약 10분의 1.
그래서 그들은 하드웨어에 약 $2.5M-3M을 투자했고 월간 운영 비용(전기, 업데이트, 냉각)이 듭니다. 그런 전환을 결정하기 위해 토큰에 얼마나 썼는지 궁금합니다. 즉, 만약 그들이 토큰에만 월 $500k-1M을 썼다면 인프라가 안정적이고 효율적이라는 가정 하에 1년 정도면 본전을 찾을 것입니다.
이것이 중대형 기업의 트렌드인지 아니면 단순한 실험인지 지켜보겠습니다.
그 모든 계산은 그들이 자체 데이터 센터 등에서 완전히 자체 호스팅하고 클라우드 공급자에게 비용을 지불하지 않는다고 가정한 것입니다. 후자는 아마 더 비쌀 것입니다.
- world2vec
직장에서 우리도 pi.dev의 우리 버전을 통해 자체 호스팅 GLM-5.3을 사용하고 있지만, 팀들은 여전히 Claude Code를 사용할지 여부에 대한 재량권이 있습니다(팀이 결정한 무엇이든 쓸 수 있는 팀 예산이 있습니다). 제 팀 같은 일부 팀은 여전히 많은 작업에 Claude Code를 사용하는 것을 좋아하지만, 대부분의 작업은 최신 최고의 LLM이 필요하지 않고 단순히 많은 토큰과 컴퓨팅을 투입하면 "덜한" LLM으로도 할 수 있습니다.
- andy99
이것은 많은 이들에게 "주권적" AI가 어떤 모습일 수 있는지에 대한 온당한 버전입니다. 캐나다에서는 방금 주권이라는 명분으로 열등한 AI 제품에 과도한 비용을 지불하는 국가 계획이 있었습니다. GLM이 약간 뒤처지더라도 이것은 아마 파레토 프런티어에 가까울 것입니다.
그들은 또한 여분의 용량이 있을 때 하드웨어를 최대한 효과적으로 활용하기 위해 이것을 openrouter에 올리는 것도 고려할 수 있습니다.
- irthomasthomas
https://xxcancel.com/guilleflorvs/status/2117379073785696395
- InsidiousWombat
투자자들이 오픈 모델이 얼마나 강력한지 안다면 AI 기업들의 밸류에이션은 하룻밤 사이에 폭락할 것이다