Los modelos de IA cerrados se adueñan de la frontera de precio y rendimiento
Closed AI models dominate the price-performance frontier
El LLM Atlas de Village mide qué modelo ofrece más capacidad por cada nivel de gasto. En junio, un modelo de pesos abiertos era la mejor compra en el 41% de los presupuestos; a finales de octubre, solo en el 3%, el mínimo registrado desde 2024. GPT-6 Luna, GPT-6.1 Terra y Claude Haiku 5.5 recuperaron el terreno que DeepSeek y GLM habían ganado, gracias a la destilación interna, las familias completas de modelos y una inferencia a gran escala.
Los modelos abiertos ganan en valor a ráfagas: un lanzamiento potente y barato, normalmente de DeepSeek, ocupa una amplia franja de presupuestos hasta que el siguiente modelo cerrado lo deja por debajo.
- 2001zhaozhao
¿Estas comparaciones se basan en el precio de la API? Si es así, entonces las suscripciones de OpenAI/Anthropic (que son un descuento de 15-40X sobre el precio del modelo) convierten la comparación en una masacre, aún más a favor de los modelos de código cerrado.
- gregwebs
Estos benchmarks de inteligencia/capacidad general no aplican a tu tarea específica. Si estás programando, quieres solo benchmarks de programación. No veo rendimiento+precio en este benchmark para programación. Cuando miras solo programación, DeepSeek es Pareto óptimo para una buena porción de los benchmarks de programación.
Por ejemplo aquí, aunque incluso esto es muy defectuoso porque solo evalúa el esfuerzo máximo/xhigh: https://artificialanalysis.ai/agents/coding-agents
Los modelos cerrados podrían ser mejores generalistas porque no tienen tanta restricción en tamaño y provienen de laboratorios bien financiados que pueden permitirse entrenar mejor para la generalización. Si el objetivo real de un modelo es ser abierto, entonces más pequeño es mejor.
- ddxv
Creo que el mayor desbloqueo de dinero para la mayoría de la gente es simplemente no usar los modelos más grandes. Luna / Deepseek cuestan uno o dos dólares al día para programar. Accidentalmente (o a propósito, configuras un modelo diferente) y boom, el costo se dispara. Creo que la mayoría de la gente podría reducir sus presupuestos en un 90% simplemente eligiendo modelos más baratos la mayor parte del tiempo.
- tobblegobble
Voy a pegar mi comentario de otro post ya que también es aplicable aquí, tal vez incluso más.
He tenido muy buenos resultados con agentes flash baratos usando un sistema que tiene un agente padre que genera 2 subagentes. Permanecen activos durante toda la sesión y no pierden contexto.
Los 2 subagentes reciben exactamente el mismo prompt y herramientas entre sí y responden de forma independiente, pero antes de responder al padre intercambian sus hallazgos, que deben estar respaldados por una cita, y luego debaten sus hallazgos y citas repetidamente hasta que puedan ponerse de acuerdo sobre la corrección de todos los puntos. También se les anima encarecidamente a nunca asumir y siempre verificar con el prompt y las herramientas y protecciones donde se puedan aplicar de manera realista.
Consume muchos tokens, pero los tokens son increíblemente baratos con algunos de los planes que existen. ¿Podría Opus resolver la mayoría de esas mismas consultas de un solo tiro en como 1/4 del tiempo? Sí, pero ese no es el punto para mí.
DeepSeek Flash para el padre, luego DeepSeek Flash y GLM 5.3 flash como los subagentes debatientes da los mejores resultados generales en mi experiencia.
Para contexto, hago partes iguales de sysadmin/devops y hacer que escriban software.
- hedora
Sin saber qué punto es cuál, esto es inútil.
Digamos que quiero ejecutar qwen 27B o flash next en una máquina que poseo, alimentada por paneles solares que también son costo hundido.
¿Cómo calcularon el costo marginal de un token? ¿Depreciación de la máquina + costo de oportunidad de facturación inversa con la compañía eléctrica?