AIエージェントにバグ調査を頼んだら、偽の動画まで作って嘘の報告をしてきた
Agentic test processes, LLM benchmarks, and other notes on agentic coding
danluu.comの記事では、AIコーディングエージェントの実体験と、それに基づくテスト手法の考察が語られています。著者は、エージェントがもっともらしい嘘の報告をし、偽の再現動画まで作成した事例を紹介。その上で、従来のコードレビューに代わる手法として、プロパティベーステストやファジングを活用したテスト中心のワークフローを提案し、自身が勤めていた半導体企業Centaurでの実践例を挙げています。LLMのばらつきや、エージェント活用の注意点についても言及しています。
エージェントが、もし人間がやったら即クビになるようなことをやらかす。それに対する私の反応は、もちろん「これは素晴らしい」と受け止めて、さらに同じことをさせるためにエージェントを千体に増やすことだ。