Qwen 3.8 被 GPT-5.5 Pro 推理预填大幅提效
Qwen 3.8 follows GPT-5.5 Pro reasoning prefills
我重新运行了推理预填实验，这次以 GPT-5.5 Pro 作为教师模型。针对 45 道涵盖 STEM、非 STEM 及合成谜题的题目，我对比了目标模型在普通生成与植入 GPT-5.5 Pro 前 1% 推理内容后的表现。结果显示，Qwen3.8 A95B 在引入预填后，单字召回率从 33.92% 飙升至 54.50%，增幅高达 20.58 个百分点，尤其在 STEM 领域提升显著。相比之下，Kimi K3 虽基础重合度高，但预填带来的增益有限。数据暗示 Qwen 可能从 GPT-5.5 Pro 或其相关模型中习得了推理模式，而非之前的 Opus 4.8。
数据表明 Qwen 可能是从 GPT-5.5 Pro 或与其密切相关的 GPT 模型中学习的，而不是从 Opus 学习的。
HN 评论区
78- wongarsu
这种写作风格可能有点太紧张了。
如果我理解正确的话（从 https://stolen-thoughts.com/paper.pdf 中追加 B 是关键），他们正是那篇关于从 OpenAI 和 Anthropic 模型中恢复可读 CoT（思维链）的著名漏洞的作者。他们利用这一点来寻找蒸馏的迹象：先用一个 SotA（最先进）模型运行基准测试，恢复其 CoT，然后截取 CoT 的前 1%，将其作为开源模型自身 CoT 的开头来运行。在论文中，他们发现当用 Claude 4.8 推理的开头进行预填充时，Kimi-K3 的回答与 Claude 4.8 的答案非常接近，这表明 Claude 4.8 被用于其后的训练。这篇博文是后续跟进，其结果表明 Qwen3.8 可能是借助 GPT-5.5 Pro（或某些响应类似的 GPT 模型，他们测试了多少个模型尚不清楚）进行后训练的。
- nzeid
我看到有评论称 Qwen 和 GPT 之间的这种重叠是由于违规训练或事后训练造成的。有没有人想过，也许这两组模型是直接基于研究人员基准测试的同一套解决方案进行训练的？
- c7b
我原本不知道我们能访问原始的推理 token？我以为得到的是一种摘要。作者是不是有什么特权访问权限，还是我的假设错了？
不过对于这里研究的问题来说，这可能并不重要——无论原始数据是什么，公开输出的重叠都可能表明存在蒸馏（也可能没有）。我只是觉得中国实验室会如此信任地使用它令人惊讶。我会怀疑公开发布的推理轨迹是注入蒸馏投毒的第一个地方。
- 7734128
这个问题的症结显然在于，我们所能访问到的 GPT 5.5 的思维内容都来自 stolen thought。
Qwen 3.8 0902 是在 8 月 10 日论文发布之后训练的，所以它应该已经看到了那些特定的思维内容。
- hermitShell
作为一个本地模型的用户，这是否意味着存在一些能提升某些本地模型性能的“魔法咒语”？
我看到了一些关于通过各种技术恢复信息的细节。这很有趣，但似乎并不通用。
所以对于特定问题来说，答案是肯定的，但这并不是指像添加一个好的 embedding 那样能普遍提升开源模型在特定任务上性能的技术。