LLMのプロンプトは「実在しない」——エージェント開発者が語る信頼性の幻想

Prompts Aren't Real

25年のエンジニア経験を持つDanが、LLMエージェントを本番環境で安定稼働させる難しさを語る。プロンプトは重要ではなく、モデルの挙動を測定・最適化する仕組みこそが鍵だと主張。pass^kテストや遺伝的アルゴリズムによるプロンプト最適化の実践例を紹介しつつ、LLMの失敗は予測不能で「手なずけられない獣」のようだと警告する。