LLM出力の「人間化」は間違いだ
Humanising LLM Outputs Is Dumb
LLMの出力を人間らしく整形するプロンプトが流行しているが、これは情報を不可逆的に圧縮し、エージェント間の連携を損ない、失敗を隠蔽する。データベースやAPIが高忠実度の表現を保持するのと同様に、LLMツールも生の状態を維持し、人間が消費する境界でのみ変換すべきだ。著者は、この流行は将来の正しい方向を示す「バグ報告」だと主張する。
エージェントが六つのテストを実行したなら、私は「テストはほとんど合格しましたが、一つ気になる問題がありました」ではなく、「5/6 PASS FAIL: test_cache_invalidation CAUSE: stale key survives restart REPRO: tests/cache_test.py:184」を望む。
HNでの議論
177- Xcelerate
これまでに、あまりにも華美な言葉遣いの文学作品を読んでいて、一段落読み終えた直後にふと我に返り、自分が何を読んだのか全く分かっていなかったことに気づき、もう一度、場合によっては二度三度とその段落を読み返すものの、そのたびにまた意識がどこかへ飛んでいってしまう、なんて経験はないだろうか？
ああ、自分にとっては、「置き換え可能な意味論的ワーカーとしての直接モデル呼び出し」みたいな大量のLLM生成テキストを解析するとき、脳内でまさにこれが起きる。他の人はあまりこの問題を感じないのかもしれないが、長い出力の後はいつもエージェントにこうプロンプトするんだ。「高レベルのタスク目標に照らして、LLM語をすべて戻して展開し直せ。指示語は排除しろ」と。
修正された出力文書は、理解を早めるための完全に個人的な用途に限られる。LLMたちが勝手に自分たちの言語にゆっくり収束していくのは構わない。将来のエージェント利用のために生のエージェント出力は保持している（著者が言う「非可逆」問題を避けるため）が、それでも、著者が言う「耐荷重ピン止めゲート」とは何なのかを何時間もかけて理解しようとする代わりに、実際に仕事を進めるのに役立つ中間翻訳が自分には必要なのだ。