Los agentes de investigación en machine learning no sobreajustan, y la compresión lo explica

Why don't machine learning research agents overfit?

El machine learning se basa en generalizar, no en memorizar. La teoría clásica advierte que reutilizar un conjunto de validación para mejorar iterativamente conduce al sobreajuste. Sin embargo, los agentes de investigación en ML no sobreajustan los benchmarks. Una nueva investigación sugiere que aprenden modelos comprimibles de los datos: cuando la estrategia de un agente exitoso se comprime a tan solo 16 tokens, otro agente sin memoria reproduce su rendimiento. La compresión actúa como explicación y diagnóstico: las estrategias que realmente sobreajustan no superan esta prueba.