自律エージェントループを本物にする:テストでは守れない失敗を捉えるハーネス設計
Building Autonomous Goal Loops That Deliver
エージェントにプランを与えてテストが通るまで動かすだけのループは、未知の機能を育てる仕事には不十分です。テストは既知の挙動しか守らず、画面は正しく見えてもデータを保存していない、エージェントが間違った理由で正しい答えを返す、スコアラーがユーザーの望まない行動を報酬にする、といった失敗はテストの外側にあります。この記事では、現実の失敗を露呈し、欠けている能力を特定し、セッション後も教訓を保持するハーネスを提案します。再現可能な開始点、承認済みリクエスト、決定論的なフロア、権限モデル(free/propose/frozen)を備え、製品ループとハーネスループを分離し、リポジトリを制御プレーンとして使います。
良いラウンドは、機能する能力と、それが機能する証拠と、同じ教訓に二度金を払わないハーネスを残す。
- madamelic
時々思うんだけど、コードを自分で書く方が速いのに、みんな必要以上に書いてるんじゃないかな。
これは半分修辞的な質問だけど、『ループエンジニアリング』を使うべき時と『ワンショット』を使うべき時、そして自分でコードを書くべき時について、どう考えてるかも知りたい。
さらに、この記事は大まかな話で、『スコアラー』や状態目標への適合を判断する具体的な提案がないように思える。それはどう表現すべきだと思う? 人間がループに入ると不必要に遅くなると思う?
- Oscalemor
実装前後のデータを見ると、みんなこれを最適化したいと思ってるみたいだ。自分もそうだけど、実際にどうやって測定するんだろう。
- TooTony
ごめん、一番上のアニメーションバナーが邪魔で、読むのに集中できないんだ。