코딩 에이전트는 미래를 내다본다: 언어 모델이 편집 전에 버그 수정을 예측

Coding agents think ahead of time

코딩 에이전트가 소프트웨어 엔지니어링 작업을 수행하는 동안, 언어 모델의 내부 상태(residual stream)가 진화하는 프로그램의 속성을 선형적으로 인코딩한다는 연구 결과가 나왔다. 로지스틱 회귀 프로브를 통해 현재 코드의 파싱 성공, 테스트 통과, 실패 테스트 감소, 회귀 발생 여부를 최대 AUC 0.83으로 디코딩할 수 있었다. 더 놀라운 발견은 이러한 표현이 에이전트의 실제 편집보다 최대 25단계 앞서 미래 편집의 결과를 예측한다는 점이다. 연구진은 이를 '잠재 프로그래밍 지평(latent programming horizon)'이라 명명했으며, 프로브가 재학습 없이 다른 벤치마크로 전이됨을 확인했다. 이는 코딩 에이전트의 메커니즘 해석 가능성 연구의 새로운 지평을 연다.