Un modelo de 1,8 millones de parámetros resuelve Sudoku-Extreme con 345 veces menos cómputo

Energy-Based Reasoners: 385x more efficient inference

Un modelo de 1,8 millones de parámetros resuelve Sudoku-Extreme con 345 veces menos cómputo

Investigadores de Duke, UIUC y Harvard presentan los Energy-Based Reasoners (EBR), modelos de razonamiento que aprenden una función de energía sobre estados latentes y formulan las actualizaciones recurrentes como descenso de gradiente. Con solo 1,8M de parámetros, alcanzan un 99,9% de precisión en Sudoku-Extreme usando 345 veces menos FLOPs de inferencia que el siguiente mejor modelo, y logran cobertura estado del arte en N-Queens y Graph Coloring manteniendo una precisión de un solo muestreo cercana al 100%.

Las soluciones correctas se asientan en estados estacionarios de baja energía, mientras que las incorrectas siguen moviéndose.
  1. Topfi

    Recomiendo echar un vistazo a Logical Intelligence, presidida por, entre otros, Yann LeCun, para más contexto sobre los EBM [0]. Tiene un gran potencial en áreas en las que los LLM tradicionalmente no rinden tan bien y, como quieren mostrar las ventajas de los EBM, también suele ser una gran fuente de ejemplos con los que los LLM tienen dificultades, como las matemáticas de nivel de primaria y el conteo (aunque, irónicamente, proporcionan pruebas Lean de nivel Millennium). Por supuesto, esto abre la discusión, no irrazonable, de si importa que los LLM puedan contar con precisión cuando escribir código para hacer el cálculo es fiable y rápido...

    [0] https://logicalintelligence.com/blog/energy-based-model-sudo...

  2. program_whiz

    Una forma esclarecedora de pensar en esto para el sudoku:

    Para cada pista, marca la probabilidad de muestrear su número en la fila/columna como cero. También marca la probabilidad de seleccionar una "celda pista" para modificación como 0.

    Elige una celda aleatoria para modificar, basada en su "energía" (las de mayor energía se modifican primero):

    1. Cada celda en conflicto recibe energía +1.0 (intenta resolver conflictos antes que nuevas celdas vacías). Por ejemplo, dos 7 en la misma fila reciben ambos +1 de energía.

    2. Las celdas vacías tienen una energía pequeña de 0.1

    3. Las celdas llenas sin conflictos tienen energía 0

    Para la celda seleccionada, elige un dígito. Mira los números en su fila/columna, cada aparición de un número en la fila/columna reduce la probabilidad de muestrear en un 90%. Ejemplo:

    | N.º de 7s | probabilidad de 7 |

    | --- | --- |

    | 0 | 10% (igual que otros dígitos) |

    | 1 | 1% |

    | 2 | 0.1% |

    Obviamente esto se volvería más complejo con más números en la línea (esto es solo comprobar el 7 en una línea por lo demás vacía).

    Esto es esencialmente lo que hacen estos modelos. Proporciona una especie de búsqueda de "colapso de función de onda" con exploración aleatoria basada en "energía", pero la energía se define simplemente como conflicto / no resuelto. Para algo como un laberinto, la energía son segmentos de camino o muros desconectados, etc.

  3. mocmoc

    He pasado un año en esto. Los EBM, aunque... cómo decirlo, son validadores impresionantes, es increíblemente difícil entrenarlos. Son muy específicos de nicho. Mientras que los LLM, aunque no siempre aciertan y son torpes, etc., ayudan a la gente a hacer el trabajo al final.

    El sudoku con EBM no es tan difícil a pequeña escala, y el solucionador de sudoku de Logical Intelligence no escala; si me equivoco, quiero verlos ofreciendo un sudoku tan grande como quieras.

    Además, después de meses y meses entrenando EBM, llegas a darte cuenta... ¿realmente vale la pena?

  4. xgk

    El artículo no parece definir qué significa basado en energía. El artículo dice: "Los EBM aprenden una función escalar que asigna una energía a una predicción candidata dado una entrada". ¿Qué codominio tienen esas funciones escalares aprendidas? Supongo que ¿números reales? Pero ¿es "energía" solo un sinónimo de los reales?

  5. igleria

    Hasta donde pude entender, esto funciona muy bien para un conjunto de problemas de lógica muy específico. Sin embargo, me interesan futuros artículos :)

Más de este día

2026-11-18