ロボット開発者がLLMにデバッグを任せてみた結果、結局自分でやる羽目になった話

I'm a seeing-eye dog for a computer

ロボット用コードを書く開発者が、LLMコーディングアシスタントに視覚的デバッグを任せてみた体験を綴る。LLMは画像エンコーダとMCPサーバを備えているが、実際にはGUI操作が遅く、ロボットの動作に関する常識が欠けているため、何度も間違った修正を繰り返す。結局、開発者は自分でデバッグビューアを操作し、スクリーンショットを撮ってLLMに間違いを指摘するという非効率なワークフローに戻った。