LLMに思考をオフにして任せる開発は、いつか必ず破綻する

これが上から強制されているというのも、事を悪くしている。脳をオフにできないというのは同意するけど、AIが何かの正しいツールではないと主張するたびに、マネジメントは怒り出す。それが何であれ、あらゆるものを完全に自動化しようという絶え間ない圧力がある。

脳を使わなければならないというのに同意するとしても、上司がチームミーティングやチャットで、AI自動化が正解かどうかを疑問視するのをやめろと文字通り言ってくるなら、もう黙って向こうが望むものを差し出すだけだよ。

LLM以前からそうだ。複雑なシステム横断の挙動（フィードバックループだらけだ）を調査するとき、脳をオフにしたいと本気で思っている同僚がたくさんいるのを見てきた（私には不可解だけど、シニアもジュニアもだ）。そして、それがランブックにまとめられるはずがないと聞かされるのを嫌がる。Enterキーに乗った飲み鳥（https://en.wikipedia.org/wiki/Drinking_bird）でできるなら、君なんて必要ないように仕組んでやるのにね！

多くの人はこの地点まで推論して、それに応じて行動を変えることができないのだと思う。おそらく詰められればこの地点まで推論はするけれど、AIに聞くという低労力で抵抗の少ない道には抗えず、そしておそらく自分の場合は大丈夫だと理由をでっち上げる（認知的不協和に対処する典型的な行動だ）。

とはいえ、多くの人にとって雇用の安定はどんな仕事をするかには依存せず、組織にどれだけうまく埋め込まれているかに依存する。AI以前から、疑わしいレベルで仕事をしていながら、決してクビにならないように見える人はたくさんいた。

君は昔ながらの写真家だ。当時、写真を撮るのにはとてつもなく時間がかかった。君は丘の上に立って、夕日の完璧な一枚を撮ろうとしている。角度と光を測り、選別し、計算する。隣には、高速なiPhoneのオート設定カメラを持った観光客が立っている。君がたった一つのショットを考え、測っている間に、彼らはくるっと回って、いろんな角度から何千枚も写真を撮る。これがAIのやることだ。同じ問題に対してたくさんのショットを与えてくれる。一つのアプローチにこだわる考える人は、はるかに多く試した人の偶然のベターショットに、写真コンテストでおそらく負ける。今は、考えすぎて一度だけ試すよりも、作ってフィルタリングするほうが良いアプローチかもしれない。

航空機のパイロットや鉄道の運転士は、基本的に95%の時間は生身の代理物（meat proxy）で、それでも雇用されている。本当に物事がおかしくなったときに必要なのだ。

AIシステムはプロフェッショナルな人々を置き換えることはできない。彼らが行う仕事を複製したり、代わりにやったりはしない。それはAIの目的ではないし、そうしたタスクを実行する能力もない。

これらのシステムを使うなら、自分が何を望んでいるか、それをどう指定するかを依然として知っていなければならない。エージェントを使って仕事の多くを自動化することはできるが、君のアイデアが悪いとか、目標を達成するもっと良い方法があるとは教えてくれない。君が何を望んでいるかも教えてくれない。そして、それが出力しているものを理解できないなら、開発者としての主要なタスク、つまり問題を理解するということを果たせていない。

タイトルには同意する。ただ、これらのシステムが人間を置き換えられるようになるとは到底思えない。プロダクトマネージャーや経営陣がどれほどそれを望み、我々と関わらずに済みたいと思っても、プロの開発者をAIのハーネスに置き換えて、組織知とスキルを持つ人々を全員クビにすれば、自分たちの足を撃ち抜くだけだ。

「会社が生身の代理物を雇う理由って何かあるのか？」おそらく何らかの形の責任、説明責任……

新しい概念：AIの身代わり（AI patsy）