AIにコードで絵を描かせる：編集可能な画像生成への挑戦
Training AI to Paint with Code
AIで画像を生成する際、プロンプトでしか操作できず、直接編集できないという限界に着目し、強化学習を用いてコードで画像を生成する言語モデルを訓練したプロジェクト。コード自体が成果物であり、編集可能であることが特徴。報酬関数の設計が鍵となり、絶対評価からペアワイズ比較への変更や、手動評価による参照プールの構築、システムプロンプトの進化などを通じて、モデルの性能を向上させた。美的品質の評価という主観的なタスクに強化学習を適用する難しさと、その解決策を詳述している。
強化学習は検証可能な報酬を必要とする。数学の問題は正しいか間違っているか、ゲームは勝ちか負けか。美的嗜好はそのどちらでもない。
- behnamoh
これは過去に数え切れないほど行われてきたことで、ここに新しいものは何もない。
- bombastic311
これは本当に本当に素晴らしい。
- _boffin_
これは実際、人々にAIの使い方を訓練する最良の方法の一つかもしれないと思う。これによって、人々のプロンプト能力や表現力が、制約や望む結果とともに磨かれるのが見える。可能性は計り知れない。