RL로 AI가 코드로 그림을 그리게 훈련하기
Training AI to Paint with Code
이 프로젝트는 강화학습(RL)을 사용해 언어 모델이 p5.brush JavaScript 코드를 작성하여 이미지를 생성하도록 훈련한 과정을 다룹니다. 코드 자체가 결과물이므로 프롬프트 없이 직접 편집할 수 있습니다. 핵심 과제는 주관적인 미적 판단을 보상 함수로 설계하는 것이었습니다. 처음에는 9개 신호로 구성된 루브릭이 수렴에 실패했지만, 쌍별 비교와 수작업으로 평가된 참조 풀을 도입해 성능을 크게 개선했습니다. 또한 GEPA를 사용해 시스템 프롬프트를 진화시켜 API 환각을 줄였습니다. 저자는 이 방식이 이미지 생성에 더 느리지만, 프롬프트 중심의 생성 방식에 대한 대안을 제시한다고 말합니다.
너무 엄격하면 모델이 수렴하고, 너무 느슨하면 모델이 표류한다.
- _boffin_
나는 이것이 실제로 사람들이 AI를 사용하도록 훈련하는 가장 좋은 방법 중 하나일 수 있다고 생각한다. 이것이 사람들의 프롬프트 작성 능력과 표현력을 다듬는 데 도움이 될 수 있다고 본다. 제약 조건과 원하는 결과와 함께 말이다. 가능성이 무궁무진하다.
- bombastic311
이것은 정말 정말 대단하다.
- behnamoh
이것은 과거에 수없이 많이 이루어졌으며, 여기에는 새로운 것이 없다.