Training AI to Paint with Code: Ein neuer Ansatz für kreative KI
Surya Narreddi hat ein Sprachmodell per Reinforcement Learning darauf trainiert, Bilder durch das Schreiben von JavaScript-Code zu erzeugen. Der Code ist das Kunstwerk und bleibt editierbar – ein direkter Eingriff in das generierte Bild ist möglich. Das Projekt befasst sich mit der Frage, wie RL bei kreativen Aufgaben funktionieren kann, wenn die Belohnung nicht eindeutig verifizierbar ist. Durch paarweise Vergleiche mit einer handbewerteten Referenzdatenbank und optimierte Systemprompts gelang es, die Bildqualität deutlich zu steigern und die Code-Effizienz zu verbessern.
Zu starr, und das Modell konvergiert. Zu locker, und das Modell driftet.
- mskogly
Dein Video-Vortrag hat mir wirklich gut gefallen, danke fürs Teilen, besonders der Teil darüber, wie Bildgeneratoren uns sofort in einen bestimmten Kontext sperren und uns so von Kreativen zu Zuschauern machen. Ich habe vor ein paar Jahren viel mit p5js gespielt, vielleicht nehme ich das wieder auf und probiere ein paar deiner Ideen aus. Der Teil mit dem Reinforcement Learning klingt allerdings etwas über meinem Kenntnisstand. :)
- _boffin_
Ich denke, das könnte tatsächlich einer der besten Wege sein, Menschen den Umgang mit KI beizubringen. Ich kann mir vorstellen, dass dies die Fähigkeiten im Prompting und die Ausdrucksfähigkeit der Leute schärft, zusammen mit den Einschränkungen und dem gewünschten Ergebnis. Die Möglichkeiten sind verrückt.
- behnamoh
Das wurde in der Vergangenheit schon unzählige Male gemacht, hier gibt es nichts Neues.