为何 LLM 在表格预测中屡屡受挫

Why Large Language Models Fail at Tabular Prediction

大型语言模型（LLM）虽已风靡各类任务，却在表格数据预测这一经典机器学习场景中长期表现不佳。研究团队通过严格实验，排除了数据噪声、CSV 格式、数值分词及查询数量等常见猜测，最终锁定“维度”为关键瓶颈。实验显示，随着数据维度增加，LLM 的准确率显著下降，而传统基线模型则保持稳定甚至提升。在低维空间中，LLM 的表现类似基于距离的局部方法，但在高维场景下，其行为模式无法被任何经典模型复现。这一发现揭示了 LLM 在表格任务中为何始终难以超越五十年前的传统算法，也为理解其内在机制留下了新的思考空间。