揭秘 Claude 与 GPT 的知识截止线
Exploring Claude/GPT Knowledge Cutoffs and Pre-Training Timelines

我通过精心设计的测试向 Claude 和 GPT 系列模型提问,试图挖掘它们训练背后的隐藏事实。利用“不可压缩知识探测”和“数据混合推断”等技术,我估算了 GPT-5 和 Opus 等前沿模型的参数量及训练数据构成。通过分析模型对特定日期事实的回答准确率,我绘制出了各模型的知识截止曲线,发现 Anthropic 的 Opus 4.7 及后续版本似乎源自同一训练运行,而 OpenAI 的 GPT-5.6 家族则基于不同的检查点。更有趣的是,通过询问模型“你是谁”,我观察到实验室在训练数据中混入了旧版模型的输出,甚至发现 Anthropic 的 Sonnet 5 会自称为 GPT-4,揭示了训练数据中可能存在的 ChatGPT 对话残留。
我们可以通过向模型提出精心策划的请求来“探测”它们,从而了解前沿模型训练背后的隐藏事实。