AI 正在瓦解我们对专业能力的信任
AI is breaking our proxies for expertise
数学家们正面临一场前所未有的危机：AI 正在解决那些曾经象征人类智慧巅峰的难题，却可能并未真正推动概念理解。文章指出，数学界长期依赖“解题”作为衡量专业能力的显性指标，而 AI 能够绕过人类直觉，直接产出正确答案。这种“解题即能力”的代理机制正在失效，导致真正的思想创新被忽视。作者以围棋和速通游戏为例，探讨人类如何在 AI 超越后重新定义价值，并警示软件工程等领域也面临同样的信任危机。
在 AI 的世界里，如果忘记了这一点，工具可能会反过来损害我们追求概念理解和洞察的主要目标。
HN 评论区
79- exprez135
Anastasia Berg 和 Jon Baskin 在八月发表了一篇题为《论激进保存》（On Radical Preservation）的文章 [1]，他们在文中以“功绩”（merit）这一共享概念为例，警示 AI 充斥的当下与未来所带来的危险。他们通过 Plenty Coups 的证词，将我们的处境与 Crow 人（科罗族）的情况进行类比。Plenty Coups 描述了野牛的衰落，以及随之终结的那些习俗、仪式、概念和生活方式——他的人民曾认为这些构成了“卓越生活”的全部内涵（或缺乏这些则无法称之为卓越生活）。
同样，他们指出“功绩”（我认为我们将其视为与“专业能力”非常相似的概念）是我们社会中一个如此根本的概念，正因 LLM 的无节制使用而受到严重侵蚀。这种侵蚀不仅源于“作弊”，更源于我们如此迅速地声称、甚至真心相信：我们理应获得对机器所创造之物的赞誉。在广泛层面上，LLM 的使用不仅会与那些不使用机器的人形成竞争，更将摧毁我们关于“个人功绩”的共享观念。
除了功绩之外，AI 还可能普遍导致我们的“自身文化价值不仅变得颓废或充满争议，甚至变得无法理解”。文章最后，Berg 和 Baskin 基本上指出，仅靠希望是不够的（即希望旧概念会被新概念取代）；正确的态度应该是竭尽所能，在当下保存这些概念。
- bwfan123
> 理解数学家们所担忧的具体问题，有助于我们更好地理解 AI 对我们自身领域的影响，
恕我直言，这篇文章的作者并没有理解数学家们所担忧的具体问题。有一种观点认为，数学 [1] 和编程 [2] 是人类活动，其目的在于达成某种对事物的洞察或思维上的清晰。对此最简洁的描述来自费曼 [3]。AI 生成的证明绕过了人类的理解过程，因此违背了其首要目的。这份声明大声疾呼，正是为了重申：这项事业的宗旨并非仅仅是生成和奖励证明。
[1] "On proof and progress in math" https://arxiv.org/pdf/math/9404236
[2] "Programming as theory building" https://pages.cs.wisc.edu/~remzi/Naur.pdf
[3] "What I cannot create, I do not understand"
- yellow_postit
“就像数学家一样，软件工程师将不得不重建我们对‘有价值的工作’的文化认知。”
这正是我在各个工作领域和层级中看到的变革趋势。
我的直觉是，这最终将回归到那些擅长讲故事和人类协调的人身上。随着 AI 系统不仅“卸载”了生产工作，甚至（我相信）开始接管部分“构建什么”的发起工作，对于任何具有相当复杂度的工作而言，“为什么做”以及如何凝聚团队变得更为重要。
我也希望能看到大量单人工作室在那些过去需要整个团队才能涉足的领域取得成功，但（就目前而言）人类协调对于大多数事业而言，仍然是一个关键需求。
- vatsachak
我不同意 AI 已经打破了代理指标（proxies）这一观点。
用足球打个比方：AI 是外接手（wide receiver），而人类是四分卫（quarterback）。即使你是比赛中最好的外接手，如果没有一个像样的四分卫，你依然无法达阵得分。
嗅出那些“氛围代码”（vibe coded）项目非常容易。
所有这些证明和氛围代码，若无人力投入都是不可能实现的。等 GPT 随便哪个版本能从头写出 gcc 的时候再叫我吧。
- srcreigh
> 我认为目前总体上尚不清楚（3）是否成立：即前沿 AI 模型是否无法生成或不能生成新的数学思想。……我基本上完全不相信“由于 LLM 工作机制的某些内在特性，AI 无法做到这一点”这种说法。
LLM 是计算机程序，因此存在它们无法解决的数学问题。换句话说，存在它们无法生成的思想。
支持这一观点的理由是：Busy Beaver 函数是不可计算的。更具体地说，某些 N 状态的图灵机需要证明其不会停机。当 N 大到一定程度时，LLM 作为计算机程序，无法生成所需的证明。
参见 Busy Beaver Frontier [1]
这与停机问题（Halting Problem）截然不同。在停机问题中，我们看到没有任何计算机能判定任意给定的输入程序是否会停机。而上述论点表明，对于一个固定的 LLM，存在特定的数学问题超出了该 LLM 进行证明的能力范围（尽管其他 LLM 或人类或许可以证明它）。
人类不受此论点约束，因为我们不是有限的计算机程序（对此也无从证明）。那些随着自然世界的输入而随时间“进化”的 LLM 也不受此约束，因为它们的代码在本质上是无限的。该论点仅适用于具有固定输入、无动态信息源的静态程序。
有些人相信神圣的灵感。也许你可以认为，人类从自然世界中整合了信息，从而……