Um Único Camada de Transformer Basta para Igualar o Treinamento RL Completo

Is One Layer Enough? A Single Transformer Layer Matches Full-Parameter RL Train

Desafio a ideia de que todas as camadas de um modelo precisam ser atualizadas no Reinforcement Learning. Descobri que treinar apenas uma camada específica, geralmente no meio da pilha, recupera a maior parte dos ganhos de desempenho. Isso vale para modelos como Qwen3 e Qwen2.5, usando algoritmos como GRPO, em tarefas de raciocínio matemático e geração de código.

"Surpreendentemente, descobrimos que treinar uma única camada Transformer pode recuperar a maioria dos ganhos alcançados pelo treinamento RL com todos os parâmetros e, em alguns casos, até superá-lo."