Ring-Zero:万亿参数下涌现推理
Ring-Zero: Scaling Zero RL to a Trillion Parameters for Emergent Reasoning

零样本强化学习(Zero RL)无需人类标注数据就能激发思维链推理,但以往受限于算力,研究多集中在小模型上。我们首次将这一范式扩展到万亿参数规模,发现简单粗暴的扩展会导致可读性差和冗余。通过引入截断重要性采样等优化,Ring-Zero 不仅验证了扩展的“苦涩教训”,更让模型自发涌现出拟人化、自我验证和并行推理等高级认知行为。在七大数学基准测试中,Ring-2.5-1T-Zero 表现强劲,且其推理过程在可读性、可复现性和效率上均展现出明显优势,彻底颠覆了传统手工启发式方法的必要性。
"模型自发发展出拟人化、结构化格式、自我验证、并行推理和语境焦虑等高级认知行为,使得手工设计的启发式方法变得多余。"