Los modelos pequeños ya están aquí: la IA barata que transforma las apps de consumo
Small Models Have Arrived
Calvin French-Owen, cofundador de Segment, explora cómo los modelos de IA pequeños y rápidos, como gpt-5.6-luna y GLM 5.3, están reduciendo drásticamente los costos de inferencia. Con ejemplos prácticos, muestra que tareas que antes costaban ~$1 ahora cuestan ~$0.10, lo que hace viable económicamente añadir IA a aplicaciones de consumo. También analiza el impacto en el mundo empresarial, donde la mayoría del trabajo es 'token spewer' (responder rápido y avanzar en muchos frentes), y predice un auge en la demanda de modelos 'rápidos, baratos y suficientemente buenos'.
La demanda de modelos 'rápidos, baratos y suficientemente buenos' está a punto de despegar.
- NitpickLawyer
> Pero también creo que la demanda de modelos "rápidos/baratos/suficientemente buenos" está a punto de despegar.
Hay una especie de "revelación" que tuve a principios del '24 cuando usé un modelo local de 7B con una librería llamada Guidance (inicialmente de MS, luego el equipo se movió) para crear un flujo donde el modelo recibía pseudocódigo para pruebas, primero escribía las pruebas, y una vez que yo las aprobaba, empezaba a escribir código hasta que las pruebas pasaran. Esto fue antes de los modelos "pensantes", y sin embargo, usando esa librería pude "guiar" al modelo en el contexto requerido de "prompt/instruct" de tal manera que trabajaba hacia la finalización, y vi las primeras cosas como las que vemos ahora en los rastros de pensamiento: "oh, la prueba x no pasa porque tal, necesito..." y así sucesivamente.
De todos modos, la revelación fue: "incluso si los modelos nunca mejoran, tendré años de diversión descubriendo todas las formas en que puedo usarlos". Y, obviamente, los modelos han mejorado mucho desde entonces. Pero creo que esa revelación aún puede aplicarse, como una especie de "perogrullada". Tenemos, ahora mismo, acceso a cosas que hace 10-20 años se considerarían magia. Todavía estamos encontrando formas de ensamblar sistemas con pegamento, cinta adhesiva y oraciones, y descubriendo cosas nuevas que pueden hacer.
Creo que la etapa de "suficientemente bueno" ha llegado no solo para los modelos de API (baratos, rápidos, etc.) sino también para los locales. Incluso si son más lentos, incluso si son más torpes, son lo suficientemente buenos para un conjunto de tareas cada vez mayor, y lo que es más, es increíblemente divertido trabajar con ellos.
- andsoitis
> Una cosa que algunos inversores con los que he hablado han mencionado: "Es raro que no veamos más empresas de IA para el consumidor. ¿Por qué es eso?"
¿Qué sería siquiera una empresa de IA para el consumidor? Los laboratorios fronterizos han declarado que se lo comerán todo y tienen una ventaja inicial.
La mejor apuesta sería ser un contrarian y construir productos y servicios que la gente realmente quiera o necesite. Está bien estar impulsado o aumentado por IA, pero las empresas de consumo hacen la parte difícil de entender las necesidades y deseos específicos de los consumidores y perseguirlos.
- NickNaraghi
> A lo largo de sus diversas startups, Peter ha visto dos tipos de trabajo:
> 1. el trabajo de "CI 180". algún tipo genio científico loco idea una solución loca que nunca se te había ocurrido.
> 2. el trabajo de "escupidor de tokens". ser ultra receptivo, empujar la pelota hacia adelante en docenas de frentes diferentes.
Comparación interesante con el horario de Maker vs. Manager de pg: https://www.paulgraham.com/makersschedule.html
Tengo curiosidad no solo sobre cuál de estos roles llenarán los modelos, sino también sobre cómo nos empoderarán para estar en el modo que preferimos.
- michael0church
Tiene sentido que veamos estrategias de "espacio en el fondo". Actualmente, los grandes recuentos de parámetros parecen ser fondos de inversión de conocimiento mundial, habilidades lingüísticas (porque los matices del lenguaje y su vocabulario abierto lo hacen de alta dimensión) y primitivas de razonamiento, con la creencia general de que esto último ocupa menos espacio en el modelo.
Hay muchas aplicaciones donde el conocimiento mundial es innecesario o incluso un negativo, y en las que solo se necesita una pequeña cantidad de habilidad lingüística, y ahí podemos esperar que los modelos pequeños usados de manera más inteligente superen a los grandes usados de manera ingenua.
- swiftcoder
Me resulta bastante gracioso que toda esta gente adicta a perseguir los modelos fronterizos apenas se esté dando cuenta de que los modelos pequeños se volvieron "suficientemente buenos" para la mayoría de las tareas. Aquellos de nosotros sin cuentas de gastos de tamaño fábula nos dimos cuenta de esto hace bastante tiempo.
- throwaway63467
Estoy algo cautelosamente emocionado por los próximos cinco a diez años, con estos chips de IA volviéndose increíblemente rápidos y las capacidades de RAM aumentando, está en las cartas que tendremos chips como los microprocesadores ATMEL de hoy que caben en una placa de un solo computador y pueden ejecutar modelos pequeños localmente, entonces todos nuestros artilugios pueden tener IA local y puedo tener un hogar verdaderamente inteligente. Por supuesto, habrá un gran empuje para ponerlo todo en la nube, pero tal vez tengamos la oportunidad de llevar esta tecnología a casa para siempre, ya que es difícil imaginar que la gente se someta a este tipo de vigilancia requerida para la automatización del hogar con IA las 24/7 (aunque podría estar equivocado). Tiempos emocionantes.
- jillesvangurp
Hemos estado probando y desarrollando algunas aplicaciones basadas en OpenAI. Cosas relativamente simples. Recargué mi crédito de API con 10$ hace unos meses. Acabo de revisar, quemamos algo así como 61 centavos en este período. Alrededor de 126 solicitudes en el último mes. Eso es solo nosotros probando, pero me muestra que esto es relativamente barato. La razón por la que no tenemos muchas solicitudes es que la mayor parte de esto funciona prácticamente al primer intento. Esto no es difícil de construir.
Creo que la IA es una capacidad subutilizada en las aplicaciones. La gente inventa todos estos grandes planes para construir agentes. Pero incluso un simple botón para "calcular una paleta de colores que tenga en cuenta estos nombres simbólicos que el usuario ingresó" es un prompt simple que regresa rápido y no requiere mucho razonamiento. Usamos eso con Luna y le damos un poco más de contexto.
Lo basado en imágenes es más caro pero aún bastante razonable. Hacemos algunas cosas con Sol que funcionan en imágenes. No es rápido, pero el resultado vale la pena esperar. Estas son características que ahorran tiempo al usuario y se sienten un poco mágicas. Simplemente hacen clic en un botón, esperan 20-30 segundos y luego ocurre la magia. Mejor que hacer clic durante media hora.
El alojamiento de modelos locales me forzaría a un mayor costo y gastos generales por menos inteligencia. Eso solo es un buen intercambio si realmente vas a usar muchos tokens o lo necesitas por otras razones (por ejemplo, seguridad de datos). Pero de lo contrario, terminas pagando por capacidad de GPU subutilizada.
- teiferer
Un amigo mío me contó hoy que tuvieron una discusión en el trabajo (una tienda de codificación) sobre "degradar" a luna desde sol por razones de costo y que muchos estaban bastante descontentos porque no querían que se les impusiera tecnología inferior. ¿Tienen razón? ¿Vale la pena el costo extra de sol? ¿Especialmente si aumentas el nivel de esfuerzo?
- hnub7akvk6
No sabía eso.
- 2001zhaozhao
Un sueño mío es poder alojar un videojuego impulsado por LLM que pueda alojar en un servidor doméstico con una GPU de gama media decente como la RTX 5060, y que el LLM sea lo suficientemente rápido e inteligente como para ofrecer una experiencia de juego divertida para unas pocas docenas de jugadores concurrentes. La gente puede pedir características y simplemente se crean y añaden al juego sobre la marcha para que el lobby las disfrute. Los costos de alojamiento serían lo suficientemente manejables como para no tener que cobrar nada por el juego.
Creo que con un año más o menos de progreso en modelos pequeños, eso podría ser posible de lograr.