Revolut、約2,000人のエンジニアをself-hosted GLMへ移行しClaude CodeとCodexを例外扱いに
Revolut moves to self-hosted GLM
Revolutが約2,000人のエンジニアのコーディング基盤をself-hosted GLMへ移し、Claude CodeとCodexは例外リストに回した。AI運用責任者のDavid Abitbolによれば、Nvidia B200を56台使い、100万トークンあたりのコストは約30セント。AnthropicとOpenAIに払っていた額のおよそ10分の1で、エンジニアのリードタイムは70%改善したという。
トークンの配給がなくなって初めて成果が現れた。エンジニアたちは難しいチケットのためにAIを取っておくのをやめ、あらゆる作業にAIを向けるようになった。
HNでの議論
153- littlecranky67
「トークンが配給制でなくなったときに利益が現れた」——まったくその通りだと思う。私は大手保険会社の大きな開発チームを（外部コンサルタントとして）率いている。開発者たちはかなりジュニアか、あるいは総じて「この会社が1時間圏内で唯一の大規模雇用主だからここでソフトウェアエンジニアになった」というタイプの人たちだ（つまり、ロックスター開発者はいない）。大半は余暇にAIで遊んだりしないし、claudeのトークンは賢く使うようにと言われている。今では誰もがトークン・シェイムを恐れて、勤務時間中に気軽に試したり探求したりすることを怖がっている。
一方で、彼らのジュニア開発業務の大半はAIに完全に置き換えられる——だからこそ、本当にAIとの仕事の仕方を学び始めるべきなのだ。私は全員に、月20€の個人向けclaudeサブスクリプションを契約して玩具プロジェクトに使うよう勧めた。チームには（20代前半の）若い開発者もいて、私金は使わない、あるいは私生活でAIを使う用途が単にない、と言う。ここで話しているのはソフトウェアエンジニアであり、私の意見では、彼らの大半は、価値ある何かに方向転換を始めなければ自分のスキルはほぼ無価値になってしまったという事実を認めようとしていない。
- jacquesm
我々も同じことをした。ずっと非力なハードウェアだが、非常によく機能しており、推論サービスの提供者に長期的に我々のデータを任せられるかどうかを一切心配する必要がない。その問いへの答えは、私の意見では「絶対にない」だ。
- redmalang
ここ数か月、我々の仕事の約90%はオープンソースモデルで行われている。「安い」云々のノイズを無視すれば、必要なものをより正確に定義するちょっとした手間をかけるだけで、これらのモデルは概して同じくらいよく機能し、概して指示にもより忠実に従ってくれる——長い時間軸で見れば、これは実はかなり役に立つ。
「すべての問題を直して」のような曖昧なプロンプトは苦手だ（なんと、これが実にありふれたプロンプトだということが分かったのは残念だが……）。
- gosen
> そこでAI運用を率いるDavid Abitbolによれば、Nvidia B200を56台、100万トークンあたり平均30セントで、AnthropicとOpenAIに支払っていた額のおよそ10分の1だ。
つまり彼らはハードウェア＋月次の運用コスト（電力、更新、冷却）に約250万〜300万ドルを投資したことになる。そんな切り替えを決断するまでに、トークンにいくら使っていたのか気になる。つまり、月にトークンだけで50万〜100万ドル使っていたなら、インフラが安定して効率的だと仮定すれば、1年ほどで元が取れる計算だ。
これが中堅・大企業のトレンドになるのか、それとも単なる実験に終わるのか、見ていこう。
この計算はすべて、自社データセンターなどで完全にセルフホストしていて、クラウドプロバイダーに払っていないことを前提にしている。クラウドならおそらくもっと高くつくだろう。
- world2vec
本業でも我々はpi.devの自社版経由でセルフホストのGLM-5.3を使っているが、チームには依然としてClaude Codeを使うかどうかの裁量権がある（チームが決めたことに使えるチーム予算がある）。私のチームのようないくつかのチームは、多くの作業で今なおClaude Codeを使いたがっているが、ほとんどのものは最新最高のLLMを必要とせず、大量のトークンと計算資源を投げつけるだけで「下位の」LLMでもこなせる。
- andy99
これは、多くの人にとって「ソブリン」AIがどういう形になり得るかのまともなバージョンだ。カナダではちょうど、主権の名の下に劣ったAI製品に過剰な金を払うという国家計画ができたばかりだ。GLMが多少劣っていたとしても、これはおそらくパレートフロンティアに近い。
また、余剰キャパシティがあるときにopenrouterに載せることも検討できるだろう。ハードウェアを最も効果的に活用するために。
- irthomasthomas
https://xxcancel.com/guilleflorvs/status/2117379073785696395
- InsidiousWombat
投資家がオープンモデルの強力さを知ったら、AI企業の評価額は一晩で暴落するだろう。