AIが「超知能」に至る道は、人間が自分で脳を切り落とすことだ
Everybody's Lost Their Minds
AIが職場を覆い尽くし、エンジニアリングの素養がない人々が「業界を変える」と称する解決策を売り込む。AI企業は犯罪を重ね、軍事目標選定に加担し、環境を破壊しながら、規制を求めるふりをする。脆弱性発見に巨費を投じても、根本的なパッチ適用は依然として困難だ。AIは理解を依存に置き換え、ユーザーを愚鈍化させる。複雑系のデバッグは不可能になりつつある。
AIはそのユーザーを鈍らせる道具であり、あなたが自らスキルを失っていくにつれて、理解を新たな依存と中毒に徐々に置き換えていく。
HNでの議論
318- BadBadJellyBean
この投稿には共感する。エージェントを「指揮」しているつもりが、実際には幼児の群れを追い立てているような感覚に疲れ果てている。確かに彼らはたいてい幼児よりマシなコードを書けるが、この絶え間ない促しと注意喚起と繰り返しと、単発のスクリプトのために会社全体のトークン予算を使うのを止めさせる作業。疲れるし、やっているうちに自分の脳力が失われていく気がする。速いのかもしれないが、爆発的下痢もまた糞を生産する速い方法だ。
- kragen
これはよく考えられた投稿には思えない。まあ、それがAI賛成かAI反対か（今回は後者）という時点で、たぶんそう言えたとは思うが、とりわけ考えの浅い投稿だ。ここで他の人たちが水浪費というミスリードを指摘しているが、他にもいくつかナンセンスな点がある——一般的な環境破滅論や、再帰的自己改善を「神秘的」とレッテル貼りするなどだ。
私はというと、何年も取り組んでいるCコードベースにClaude Opus 5を向けたら、即座に5つの重大なバグを見つけて修正方法を教えてくれたし、他にもいくつかの問題を解決するために私が知らなかったLinuxシステムコールの使い方も教えてくれた。それから数年前に書き上げたPEG用の新しい言語を渡したら、その日の午後にはOCamlで動く実装を書いてくれて、その過程で私の例の文法のバグもいくつか直し、行き詰まっていた概念的な問題も解決してくれた。Fable 5.1に最小限の証明支援系を実装するよう頼んだら、PythonでJ-Bobのクローンを書いてくれて、今それを勉強している。こういうものにはある種の放水のような勢いがあるけれど、AIを使って自分の脳を積極的に退化させるつもりは全くない。
もちろん、これはAIが全体として有益なイノベーションになることを保証するものではない！ほとんどのイノベーションと同様、おそらくそれは、人々がそのイノベーションを使って自分自身の生活をコントロールできるようにするか、他人の生活をコントロールできるようにするかのバランス次第だ。（……を除いて）
- grebc
長い間、私はペット理論を持っている。社会はおよそ10年ごとに集団的に正気を失い、たいていはもっともらしい理由から始まるが、結果は大衆の愚かさであり、その後大衆の忘却が続き、新たなサイクルへと至る。対テロ戦争、世界金融危機、暗号通貨、COVID、そして今はAI。ただしサイクルは短くなっているようだ。
それに、私たちは歴史から、あるいは10歳年上の人たちからさえも学ぶにはあまりにも愚かで、サイクルを繰り返す。
そしておそらくそこが、「毎分新しいカモが生まれる」という言葉の由来なのだろう。
- sandinmyjoints
> 人的資源は依然としてゼロサムゲームであり、エージェントのサイロの中で超忙しく何千ものことを同時にこなしていると感じる個人が、結局のところ、部門横断的な協力とチームワークを必要とする種類のプロジェクトの解決に役立つわけではない。
これは本当だと思う。
- bucket2015
ソフトウェアエンジニアが、AIに非常に満足してより深く傾倒する人々と、ますます懐疑的または落胆している人々とに分かれていくのは興味深い。
これがどう展開するかはわからないが、こんなものは今まで見たことがない。
- limaoscarjuliet
最初はAIが嫌いだったが、徐々に温まっていった。コードを書くのに役立つ。しかも毎日、時には文字通り毎日のように良くなっている。
今日では、これは道具だと思う。額縁職人の釘打ち機のようなものだ。私たちがより速く、潜在的に仕事をより良くするのを助けてくれる。ああ、最近Waymoに乗る機会があって、無事に目的地まで運んでくれた。だから正しくやっていることもある。
しかし本当の答えはそれほど単純ではない。友人が最近こう聞いてきた。「うちの子がソフトウェア開発をやりたいと言っているが、やらせるべきか？」うーん、まずい、たぶん別のことを考えたほうがいい？
- Ancalagon
> 毎日75%以上の時間を直接的または間接的にAIに対処することに費やすことで、仕事の楽しみのほとんどを完全に奪われた。ほとんどの日は、目覚めても自分は同じなのに、他の全員が違う『トワイライト・ゾーン』のような感じだ。
ああ、これは私の経験を完全に言い当てている。
- 8bitsrule
今日、Timnit Gebruによる素敵な怒りの文章を楽しんだ。タイトルは「AI企業は実際の害について議論を避けるために絶滅の恐怖を煽っている」といったものだ。
- jkochis
かつて人々がコンピュータ音痴であることを誇りに思い、できるだけ長く使い方を学ぶのを拒んでいた時代を覚えているか？ジョン・ヘンリーやポール・バニヤンの物語を知っているか？他にもたくさん類推できるだろうが、否定できないのは、ほとんどの人がこれが進歩だと信じるなら、私たちはそこへ向かっているということだ。
- 3pm
コードを書くことに関しては常に二つの陣営があったと思う。強い二峰性の分布だ。コードの知覚される品質（いわゆる「クラフト」）を気にする人々と、コードを目的のための手段として扱う人々。少なくとも私は常にこの緊張を感じてきた。そして常に例外があり、同じ日の中でも人が二つの陣営の間を移ることはある。しかし概してどちらかに傾く。私自身そうだ。そして一方が他方より優れているわけではなく、どちらも非常に賢く善意であり得る。営利事業で成功するには両方が必要だ。これはうんざりするほど議論されてきたが、私が好きな比喩の一つはイエス・キリスト対ジェームズ・ボンドだ。ほとんどの場合ジェームズ・ボンドが勝つ。ほとんどの人はジェームズ・ボンドのように考えがちで、そうでなければ組織が強くその方向へ促し、昇進が決まり、自己強化される。
さて、新たな強力なツールが現れ、そろそろイエス・キリスト陣営が白旗を上げる時だと思う。