为何 LLM 在表格预测中屡屡受挫

Why Large Language Models Fail at Tabular Prediction

▲ 114sbulaev33 HN 评论区
为何 LLM 在表格预测中屡屡受挫

大型语言模型（LLM）虽已风靡各类任务，却在表格数据预测这一经典机器学习场景中长期表现不佳。研究团队通过严格实验，排除了数据噪声、CSV 格式、数值分词及查询数量等常见猜测，最终锁定“维度”为关键瓶颈。实验显示，随着数据维度增加，LLM 的准确率显著下降，而传统基线模型则保持稳定甚至提升。在低维空间中，LLM 的表现类似基于距离的局部方法，但在高维场景下，其行为模式无法被任何经典模型复现。这一发现揭示了 LLM 在表格任务中为何始终难以超越五十年前的传统算法，也为理解其内在机制留下了新的思考空间。

我们的结果更谦逊地表明，LLM 的能力随着维度增加而消散，这种特性是任何受噪声干扰的经典学习器都无法模仿的。
阅读原文 →HN 评论区RSS

HN 评论区

33
  1. _joel

    如果要在表格数据上使用 LLM，我做的第一件事就是先问：处理这类数据并构建合理工作流的最好工具是什么。正如他们发现的，直接硬用 LLM 并不是做这类预测的合适工具。

  2. rustyconover

    看看附录 F 里白底白字的文字。挺搞笑的。

  3. tough

    Google 的 TabFM [1]（及其之前的 TimesFM）似乎是该领域目前最好的方法。

    1. https://research.google/blog/introducing-tabfm-a-zero-shot-f...

  4. ismailmaj

    不确定是 LLM 在表格数据上表现不佳，还是树 boosting 在这个任务上实在太出色了。

  5. pjot

    更进一步的是那些想直接把 LLM 指向数据仓库，以获取运行预测所需数据的人。

同日更多故事

2026-08-04