Revolut pasa a 2.000 ingenieros a GLM autoalojado y reduce el coste de tokens un 90%
Revolut moves to self-hosted GLM
Revolut trasladó a unos 2.000 ingenieros a GLM autoalojado para programar y relegó Claude Code y Codex a la lista de excepciones. Según David Abitbol, responsable de AI ops, con 56 Nvidia B200s el coste combinado es de 30 céntimos por millón de tokens, cerca de una décima parte de lo que pagaban a Anthropic y OpenAI, y el lead time de ingeniería mejoró un 70%. La clave: las ganancias aparecieron cuando los tokens dejaron de racionarse.
Los modelos frontera se convierten en la excepción, los pesos abiertos en la opción por defecto. Eso es un problema de precios para cada laboratorio que se dirige a salir a bolsa.
- littlecranky67
"las ganancias aparecieron cuando los tokens dejaron de racionarse" - Lo veo totalmente. Estoy liderando (como consultor externo) un equipo de desarrollo grande para una enorme compañía de seguros. Los desarrolladores son bastante junior o, en general, más del tipo "me hice ingeniero de software aquí porque esa empresa es el único gran empleador en un radio de 1 hora" (o sea: no son desarrolladores estrella). La mayoría no juega con IA en su tiempo libre, y les han dicho que usen los tokens de Claude con prudencia. Ahora todos tienen demasiado miedo de experimentar con ello y explorar durante el horario laboral por temor a ser avergonzados por el uso de tokens.
Al mismo tiempo, la mayor parte de su trabajo junior de desarrollo podría ser reemplazado completamente por IA, así que realmente deberían empezar a aprender a trabajar con ella. Recomendé a todos que se suscribieran a una cuenta privada de Claude de 20 €/mes y la usaran para proyectos de juguete. Tengo desarrolladores jóvenes (de poco más de 20 años) en el equipo que me dijeron que no gastarán dinero privado, o simplemente no tienen un caso de uso en su vida privada para la IA. Estamos hablando de ingenieros de software, y en mi humilde opinión la mayoría está en negación del hecho de que sus habilidades se han vuelto en gran medida inútiles si no empiezan a pivotar hacia algo valioso.
- jacquesm
Hicimos lo mismo, con hardware mucho menos potente, pero nos ha servido muy bien y no tenemos que preocuparnos en absoluto por la cuestión de si los proveedores de servicios de inferencia pueden ser confiables a largo plazo con nuestros datos. La respuesta a esa pregunta, en mi opinión, es 'absolutamente no'.
- redmalang
Durante los últimos meses, alrededor del 90% del trabajo que hacemos va a modelos de código abierto. Si ignoras el ruido sobre lo 'barato', etc., puede que descubras que con un poco de esfuerzo extra para definir con más precisión lo que necesitas, no solo estos modelos funcionan generalmente igual de bien, sino que además suelen seguir las instrucciones más de cerca; en plazos más largos, esto es realmente bastante útil.
Son menos buenos con prompts ambiguos como 'arregla todos los problemas' (lo cual, para mi disgusto, resulta ser un prompt muy común...).
- gosen
> Según David Abitbol, quien lidera las operaciones de IA allí: 56 Nvidia B200, un coste combinado de 30 centavos por millón de tokens, aproximadamente una décima parte de lo que pagaban a Anthropic y OpenAI.
Así que han invertido alrededor de $2.5M-3M en hardware + costes operativos mensuales (electricidad, actualizaciones, refrigeración). Me pregunto cuánto gastaban en tokens para decidir hacer tal cambio. Quiero decir, si solían gastar $500k-1M al mes solo en tokens, entonces se amortizaría en un año más o menos, asumiendo que su infraestructura sea estable y eficiente.
Veremos si eso es una tendencia para empresas medianas-grandes o solo un experimento.
Todo ese cálculo asume que todo está autoalojado en su centro de datos o similar y que no pagan a un proveedor de nube, lo cual probablemente sería más caro.
- world2vec
En el trabajo también usamos GLM-5.3 autoalojado a través de nuestra versión de pi.dev, pero los equipos todavía tienen poder discrecional sobre usar Claude Code o no (hay un presupuesto del equipo para gastar en lo que el equipo decida). Algunos equipos como el mío todavía prefieren usar Claude Code para gran parte del trabajo, pero la mayoría de las cosas no requieren el LLM más nuevo y mejor y se pueden hacer con LLMs "inferiores" simplemente lanzándoles muchos tokens y cómputo.
- andy99
Esta es una versión sensata de lo que la IA "soberana" puede significar para muchos. En Canadá acabamos de tener este plan nacional para pagar de más por un producto de IA inferior en nombre de la soberanía. Incluso si GLM está ligeramente por detrás, esto probablemente esté cerca de la frontera de Pareto.
También podrían considerar ponerlo en openrouter cuando tengan capacidad sobrante para hacer el uso más efectivo del hardware.
- irthomasthomas
https://xxcancel.com/guilleflorvs/status/2117379073785696395
- InsidiousWombat
Si los inversores supieran lo potentes que son los modelos abiertos, la valoración de las empresas de IA se desplomaría de la noche a la mañana.