Entrenar a una IA para pintar con código: el arte editable que nace del RL

Training AI to Paint with Code

Surya Narreddi entrenó un modelo de lenguaje para crear imágenes escribiendo código JavaScript con p5.brush, usando aprendizaje por refuerzo. El código es el artefacto, y al ser editable, se puede modificar sin volver a generar desde el prompt. El proyecto aborda el reto de aplicar RL a tareas creativas: la recompensa no es verificable como en matemáticas o juegos, así que diseñó un sistema de comparación por pares contra un pool de referencias calificadas a mano. El resultado: el modelo comprime su código de 13,500 a menos de 2,000 tokens y supera mesetas de rendimiento. También descubrió que una lista corta de métodos permitidos en el prompt reduce las alucinaciones de API frente a documentación extensa.