Construye tu propio modelo de decisión con un LLM
Build your own decision model
Los modelos de decisión de tipo "System one" infieren respuestas calibradas en una sola pasada, a diferencia de los LLM que generan token por token. El artículo muestra cómo emular este comportamiento con Qwen3-1.7B, restringiendo la salida a opciones fijas mediante decodificación restringida. Al evaluar en CommonsenseQA, el modelo acierta un 59%, pero sus probabilidades están sobreconfiadas. Aplicando temperature scaling, la calibración mejora notablemente, alineando la confianza con la precisión real.
El modelo tiende a estar extremadamente sobreconfiado en el intervalo de 0.9 a 1.0, pero solo acierta el 70% de las veces.
- sachaa
Esta es una gran forma de empezar, pero el rendimiento de modelos LLM como Qwen no es ideal para ejecución local. He adaptado Laya (modelo de decisión puro) para que corra en un navegador y consigo respuestas en menos de 200ms. Pruébalo: https://wexare-ai.github.io/browser-laya/
- sn0n
Vi Jev y sin entenderlo me dije: "¡Puedo construir eso!". Y se me ocurrió un generador raro de Jeopardy al estilo Alex Trebek al que llamé trebek, una app de TypeScript ejecutada con bun donde le das una entrada, decide si es una categoría, pregunta o respuesta y luego genera lo que falta. Entrené una base de datos SQLite-vec con el idioma inglés durante unos días con un pequeño modelo de embeddings qwen para añadir embeddings vectoriales a la base de datos, luego corté el cordón de los embeddings antes de empezar a alimentar mi LLM con las especificaciones adecuadas para Jev y ahora tengo un genial generador de Jeopardy que además funciona como clasificador clon de Jev con un endpoint v1 personalizado para system 0 o lo que sea. Nivel de comprensión aquí, aunque fue un experimento divertido ^>^ y produce resultados útiles
- nico
Esto es muy interesante. Si buscas algo similar pero más ligero, que puedas ejecutar (y entrenar) en CPU, prueba Jeffy: https://jeffyclassify.com/
En GitHub: https://github.com/nicobrenner/jeffy
- fuddle
Espero con ganas un libro de "Construye un modelo de decisión (desde cero)".
- ford
Estos son geniales, y el origen de los muchos clones de Jev que hemos visto. Creo que su reciente ronda de financiación se debe en parte a sus algoritmos/datos. Está por ver si eso es una ventaja lo suficientemente grande como para valer más de mil millones de dólares