Thom 揭露与 OpenAI 关于未发表数学的交锋
More questions about whether researchers can trust OpenAI with unpublished math
数学家 Andreas Thom 公开了他与 OpenAI 之间的一次令人不安的对话。在 OpenAI 宣布发现 non-sofic group 后，Thom 询问其团队是否利用了他在 ChatGPT 上关于该问题的未发表讨论。OpenAI 代表 Mark Sellke 曾断然否认，但随后在类似事件中又含糊地表示“无法排除”脱敏数据对模型有帮助。Thom 认为这种前后矛盾的回答至少是不诚实的，这引发了学术界对是否还能信任 OpenAI 处理未发表数学成果的深刻担忧。
这暴露了一个严重且未得到解答的问题：研究人员是否还能信任 OpenAI 来处理未发表的数学成果。
HN 评论区
498- sashank_1509
这两件事可以同时成立：
1. OpenAI 在预训练中使用你的聊天记录时，确实提升了模型的直觉。模型参数量巨大，虽然数据量呈 OOM 级增长，但模型记住聊天内容并优化其潜在表示是 plausible 的。
2. 在基于可验证数学和海量算力的 RL 过程中，模型发现了超越人类、且与聊天中提到的具体技巧关系不大的解题技巧和关联。
我从 OpenAI 和 Anthropic 的多名员工那里听到的传闻是，该模型已经解决了数百个数学未解之谜，基本上你给它什么它都能解。我们很快就能知道真相，但我倾向于相信这是真的。数学是一个完全可验证的领域，适合自博弈，大规模 RL 可以开发出远胜于任何人类的搜索代理。我倾向于认为，即使预训练中没有这些聊天数据，OpenAI 也能解决这些猜想。
- nyeah
[迟到的回复]
- aaronharnly
有没有人做过这样的测试：在允许用于训练的聊天中植入某种“识别码”、金丝雀短语或断言，然后观察它是否后来以模型“已知”的内容形式出现？我很好奇这背后的机制，哪怕是在玩具级模型上，也想看看是否有人正在有意识地针对前沿实验室的产品测试这一过程。
我的直觉是，单条聊天记录不太可能在模型上留下深刻印象，但我非常想了解这究竟是如何运作的。
- bertonvv
我一直想知道，AI 在解决未解之谜上是否真的进步神速，还是我们被蒙蔽了。
- OpenAI 邀请研究人员使用其模型，事实上为至少 100,000 名研究人员提供免费访问权限 [1]，当然也有付费用户。
- 据称，OpenAI 内部模型解决未解之谜的速度快得惊人 [2]。
- 但研究人员通常都会致力于未解之谜。如果一位研究人员使用 Codex 在解决未解之谜上取得进展，他实际上就是在向模型输入针对内部模型评估问题的最新训练数据。
- 因此，虽然看起来新模型突然解决了很多未解之谜，但它们可能很大程度上是在搭人类进步的便车，是被全球各地研究人员的工作所“启发”？
这个理论预测，随着 OpenAI 宣布更多解决方案，会有更多像 TFA 这样的研究人员站出来。这并不意味着所有 AI 进步都是海市蜃楼，只是其中存在抄袭。
[1]: https://openai.com/index/chatgpt-for-academic-researchers/
[2]: https://xcancel.com/OpenAI/status/2097374643518640382#m
- fwlr
OpenAI 在得知模型训练数据中极有可能包含一个重大数学证明后，决定立即从仍处于训练阶段的模型中生成 3000 亿个输出 token，这确实令人怀疑。当然，每一步都有合情合理的解释，但这给人的感觉确实像是“平行构建”。
- bamb008
当数学家 Thom（如今指控抄袭的人）发布他对 OpenAI 构建非 sofic 群的解读 [1] 时，他并没有提到这个证明很眼熟。他甚至称关键论证很巧妙，却没有指出这是他先想到的。
- SwellJoe
以前就有人说过，这依然是一个令人担忧的问题：如果 AI 发展到无需大量人力就能做任何事/构建任何事/发射任何事的程度，AI 公司就没有理由让你或我从中提取价值。
而且，如果他们能窥探并学习你从初始提示到生成可用产品/证明/任何东西的人类过程，那么他们生产这些东西所需的人力成本甚至更低。凭借比大多数人甚至大多数公司都雄厚的预算，他们可以挑选最有价值的事情去追求。
这并不是说我认为 OpenAI 会窃取你正在开发的 roguelite 策略游戏，但那些拥有将电力转化为软件（很快是硬件设计）的机器的公司，在任何它们有用的领域都占据优势。它们能更早获得更新更好的模型，拥有更大的 token 预算，而且不会遇到你和我所面临的护栏限制。
雇主们幻想用 AI 取代所有员工，却没想通：如果 AI 能取代所有员工，那么 AI 公司也能取代所有企业。
- GodelNumbering
虽然与主题稍有偏离，但这篇 bluesky 帖子包含了一张 X 帖子的截图，而那张 X 帖子本身又是以“在一篇详细的 Mastodon 帖子中……”开头的。