Por qué los LLM fallan en la predicción tabular: la dimensionalidad es el verdugo

Why Large Language Models Fail at Tabular Prediction

Los grandes modelos de lenguaje (LLM) se han convertido en la herramienta por defecto para una amplia gama de tareas, pero su desempeño en análisis predictivo sobre datos tabulares es notablemente pobre. Este estudio evalúa un LLM de frontera en su régimen de inferencia más puro (una sola pasada de generación con los datos completos de entrenamiento y prueba) y pone a prueba cinco hipótesis sobre su fracaso. Los experimentos controlados descartan la incapacidad para manejar ruido o datos no lineales, el formato CSV, la tokenización numérica y el número de puntos clasificados por consulta. La dimensión de entrada resulta decisiva: el LLM es el único método entre nueve cuya precisión disminuye al aumentar la dimensionalidad, mientras que los modelos clásicos se mantienen estables o mejoran. La comparación con 252 modelos clásicos muestra que en dos dimensiones el LLM predice como un método local basado en distancia, pero en dimensiones superiores ningún modelo clásico reproduce sus predicciones. Los resultados sugieren que la capacidad del LLM se disuelve con la dimensión de una manera que ningún aprendiz clásico con ruido imita, lo que explica su inferioridad frente a modelos de hace cincuenta años en tablas.