没有Posttraining数据公地

There is no posttraining data commons

我们曾幸运地拥有海量的预训练数据公地，从Wikipedia到Common Crawl，人类知识触手可及。然而，AI研究重心已转向Posttraining，尤其是Agent领域，这里却不存在现成的数据公地。预训练消耗的是文档，而Posttraining消耗的是任务。人类活动是转瞬即逝的，将其转化为RL所需的可重复任务极难。即便是相对容易的开源软件领域，将GitHub仓库转化为可用任务也困难重重，SWE-bench等数据集的构建过程充满了筛选与修复。对于法律、医疗等更复杂的经济活动，更是缺乏公共的任务公地。未来，是任由少数公司垄断这些任务数据，还是我们能建立起开放的Posttraining公地，将决定AI发展的方向。