Los modelos se vuelven más tontos a propósito
Models Are Getting Dumber on Purpose
Los modelos de razonamiento mejoran en matemáticas y código, pero pierden conocimientos fácticos a propósito. Los laboratorios intercambian memoria por habilidad de razonamiento, ya que los hechos ocupan espacio y se vuelven obsoletos, mientras que los procedimientos permanecen. El conocimiento se traslada al 'arnés': recuperación, herramientas y búsqueda web. Esto podría permitir modelos de nivel frontera en una GPU de consumo, y aborda la alucinación al hacer que los hechos sean verificables y corregibles.
Cuando un hecho vive en los pesos, un hecho incorrecto es imposible de encontrar y de corregir.