LLMのRL学習、難しい問題を諦めないことで性能が劇的に向上

Learning to solve hard problems in RL for LLMs by never giving up

LLMのRLポストトレーニングに関する論文を解説。評価曲線が上昇しても、実際には簡単な問題でスコアを稼いでいるだけかもしれない。著者は「Matthew Effect」と呼ぶ現象を導入し、難しい問題を決して諦めない「Never Give Up」手法を提案。非同期RLの工夫や数学・コードでの大規模検証、限界も議論する。