옵티마이저가 훈련 중 스스로 소스 코드를 다시 쓴다
Reactive Optimizers: rewrite the optimizer's source code during training
Xingjian Bai 등 연구진은 훈련 동역학을 관찰하고 반응하며 옵티마이저의 소스 코드를 실시간으로 다시 쓰는 에이전트 기반 옵티마이저 OPAL을 제안한다. 사전 튜닝된 레시피가 없는 새로운 언어 데이터셋, 배치 크기 축소, 이미지 생성 과제에서 기존 최고 레시피와 대등하거나 능가하는 성능을 보였고, 손실 급등을 억제하거나 과적합을 탈출하는 복잡한 전략을 스스로 만들어내는 현상도 관찰됐다. LLM 토큰을 GPU·인간 시간 대신 쓰는 방식으로, 레시피가 아직 없는 영역에서 특히 유용하다.
옵티마이저가 예상치 못한 손실 급등이나 정체에 어떻게 대응해야 할까? 한 모듈의 그래디언트가 진동하기 시작하는 동안 다른 모듈은 순조롭게 개선되고 있다면? 그리고 새로운 유형의 아키텍처가 Adam이나 Muon으로 잘 훈련되지 않을 때, 그 아키텍처가 더 나쁜 것일까, 아니면 아직 그에 맞는 옵티마이저를 만나지 못한 것일까?