AIに楽観的だった筆者が「ドゥーマー」に転じた理由
The Education of a Doomer
AIに楽観的だった筆者が、なぜ極度の懸念を抱くようになったのか。経済、アラインメント、コントロール、執筆、ソフトウェアエンジニアリング、AIへの委任、停滞の7つの観点から、自身の考えの変化を振り返る。AGI後の経済的価値の喪失、RLによるモデルの不透明化と誤った方向への適応、人間が自発的にAIへ権力を委ねる「ディスエンパワーメント」の強力なシナリオ、AIによる執筆が思考を放棄すること、ソフトウェアエンジニアリングの談話の劣化、AIを神託のように扱う人間の傾向などを、個人的な経験と鋭い洞察で綴る。
AIに書かせるということは、思考を構成する大部分を手放すことなのだ。
HNでの議論
58- rahulyc
何が起こるのかは分からない（誰にも分からないと思うが）、他のあらゆるテクノロジーでは、使いたくなければオプトアウトできる。たとえ失業しても、皆があらゆる場所でそれを使っているとなると、どうやってオプトアウトできるのかが見えない。歴史的に政府は人間を資産とみなしてきた——「人的資本」とも呼ばれ、税収や国家運営のために我々を必要としている。我々が必要とされなくなったらどうなるのか？たとえAIが魔法のように国家に合わせられたとしても、自分が勝ち組になるとは思えない。今日、それが我々の喉に押し込まれているやり方について、我々に発言権があるわけではない。AGIが人間のできることをすべてできるようになったら、なぜ状況が良くなると言えるのか？何が我々に世界での発言権を与え続けるのか？
- skybrian
> 少なくともAIに相談せずに下した最後の大きな人生の決断は何ですか？
これは、少なくともウェブ検索をせずに下した最後の大きな決断は何か、と尋ねるようなものだ。検索すること自体に何の問題もない。問題は、読んだものを確認せずに過度に頼ることだ。
- ArcHound
人間の労働の価値が下がる問題は、自動化が実際に実現する必要がないことだ。ほぼすべての雇用主が、特定の仕事はより低い賃金でよいと合意すればよいだけだ。そして、それが今日の状況だ——新しいAIが十分なプログラマーの代替となるという声明は、記録的な利益を上げながらも株価に影響を与えずに解雇を行うには十分なのだ。
- throwawayk7h
> 人間が経済的に役に立たなくなれば、国家は彼らを必要としない。経済的にも政治的にも力を持たない人々に、なぜUBIを支払うのか？
私が純粋なだけかもしれませんが、この場合、人々は単にUBIに投票するのではないでしょうか？
- aranelsurion
> GPT-3が機能しなかったら？この代替の2026年には、何を楽しみにできたのだろうか？
おそらく、医療やより良い生活環境、より良く機能する社会など、退屈なことを期待するだろう。
空飛ぶ車や考える機械ほど刺激的ではないことは確かだ。