Revolut перевела 2000 инженеров на self-hosted GLM и урезала расходы на AI в десять раз
Revolut moves to self-hosted GLM
Revolut пересадила около 2000 инженеров на self-hosted GLM для программирования, а Claude Code и Codex отправила в список исключений. По словам David Abitbol, отвечающего там за AI-операции, хватает 56 Nvidia B200s при смешанной цене 30 центов за миллион токенов — примерно десятая часть того, что платили Anthropic и OpenAI. Время выполнения инженерных задач сократилось на 70%. Главный эффект наступил, когда токены перестали экономить: AI начали применять ко всему подряд, а не только к сложным тикетам.
Frontier-модели становятся исключением, открытые веса — нормой по умолчанию. Это проблема ценообразования для каждой лаборатории, готовящейся к IPO.
- littlecranky67
"выгода проявилась, когда токены перестали нормировать" — я это прекрасно понимаю. Я, как внешний консультант, руковожу довольно большой командой разработчиков в огромной страховой компании. Разработчики там довольно джуниорские или, в целом, из тех, кто "стал программистом здесь, потому что эта компания — единственный крупный работодатель в радиусе часа езды" (то есть: никаких звёздных разработчиков). Большинство из них не играются с ИИ в свободное время, и им сказали разумно расходовать токены Claude. Сейчас все слишком боятся экспериментировать и исследовать в рабочее время из страха, что их пристыдят за трату токенов.
В то же время большую часть их джуниорской работы можно полностью заменить ИИ — так что им действительно стоит начать учиться с ним работать. Я порекомендовал всем оформить личную подписку на Claude за 20€ в месяц и использовать её для игрушечных проектов. У меня в команде есть молодые разработчики (около 20 лет), которые сказали, что не будут тратить личные деньги или просто не видят применения ИИ в личной жизни. Мы говорим о программистах, и, по моему мнению, большинство из них отрицают тот факт, что их навыки в основном обесценились, если они не начнут переориентироваться на что-то ценное.
- jacquesm
Мы сделали то же самое, на гораздо менее мощном железе, но это сослужило нам отличную службу, и нам вообще не нужно беспокоиться о том, можно ли доверять поставщикам услуг инференса наши данные в долгосрочной перспективе. Ответ на этот вопрос, по моему мнению, — "абсолютно нет".
- redmalang
За последние несколько месяцев около 90% нашей работы уходит на open source модели. Если отбросить шум вокруг "дешевизны" и прочего, можно обнаружить, что при небольших дополнительных усилиях по более точному определению того, что вам нужно, эти модели обычно работают так же хорошо и, как правило, более точно следуют инструкциям — на длительных промежутках времени это на самом деле довольно полезно.
Они хуже справляются с неоднозначными промптами вроде "исправь все проблемы" (что, к моему огорчению, как оказалось, очень распространённый промпт..)
- gosen
> По словам Дэвида Абитбола, который руководит там AI-операциями: 56 Nvidia B200, смешанная стоимость 30 центов за миллион токенов, примерно десятая часть того, что они платили Anthropic и OpenAI.
Значит, они вложили около $2,5–3 млн в оборудование + ежемесячные операционные расходы (электричество, обновления, охлаждение). Интересно, сколько они потратили на токены, чтобы решить совершить такой переход. Я имею в виду, если они раньше тратили $500 тыс.–1 млн в месяц только на токены, то это окупится примерно за год, при условии, что их инфраструктура будет стабильной и эффективной.
Посмотрим, станет ли это трендом для средних и крупных компаний или останется просто экспериментом.
Все эти расчёты предполагают, что всё размещено у них в собственном дата-центре, а не оплачивается облачному провайдеру, что, вероятно, было бы дороже.
- world2vec
На основной работе мы тоже используем self-hosted GLM-5.3 через нашу версию pi.dev, но у команд всё ещё есть право решать, использовать ли Claude Code (у команды есть бюджет, который она тратит по своему усмотрению). Некоторые команды, включая мою, по-прежнему любят использовать Claude Code для большой части работы, но большинство задач не требуют самой новейшей и лучшей LLM и могут быть выполнены с помощью "менее продвинутых" LLM — просто нужно забросить в них побольше токенов и вычислений.
- andy99
Это разумная версия того, как "суверенный" ИИ может выглядеть для многих. В Канаде у нас только что появился национальный план переплачивать за худший ИИ-продукт во имя суверенитета. Даже если GLM немного отстаёт, это, вероятно, близко к границе Парето.
Им также стоило бы рассмотреть возможность выложить это на openrouter, когда у них есть свободные мощности, чтобы максимально эффективно использовать оборудование.
- irthomasthomas
https://xxcancel.com/guilleflorvs/status/2117379073785696395
- InsidiousWombat
Если бы инвесторы знали, насколько мощны открытые модели, оценка ИИ-компаний рухнула бы за одну ночь.