AIの「ゴッドファーザー」Hinton氏、AIを開発しなかった方がよかった可能性を指摘
Geoffrey Hinton: it might turn out we were better off without AI
ノーベル賞受賞者のGeoffrey Hinton氏がGuardianの取材に応じ、AIが今年か来年にも金融や電力システムの一時停止のような大規模事故を引き起こす恐れがあると警告した。同氏は「AIを全く開発しなかった方が人類にとって良かったかもしれない」と述べつつ、10年以内にリスクを管理できるかどうか判明するとの見方を示す。OpenAIのSam Altman氏ら主要AI企業の経営陣については「リスクを理解しながら金を優先している」と不信感をあらわにした。
ZuckerbergもMuskもSam Altmanも、リスクを理解しているのに全然気にしていない。彼らは金の方がいいんだ。それが私の信念だ。
HNでの議論
219- mrweasel
AI企業の責任者たちがリスクを理解しているかは分からないが、彼らが主にお金のことを気にしているというのは良い指摘だと思う。彼らは自分の尻拭いをすることに慣れていない人たちでもあるから、何か問題が起きても気にしないだろう。
ずさんさはAIの展開方法にも明らかだ。現代のテック企業が提示する他のすべてと同様、破壊的な技術として提示されている。目的は非常に短期間での巨額の報酬であり、何かを良くすることでも悪くすることでもない。どちらも単なる副作用に過ぎない。
もしLLMが最初に「より良いIntelliSense」として提示されていたら、つまり関数名を自動補完するのではなく、エディタが実装を提案できるようになったとしたら、不快に思う人はほとんどいなかっただろう。文章作成も同じで、Grammarlyの改良版に過ぎず、それでいい。描画ソフトのツールとしても同様だ。AIの上司たちにとっての問題は、これには時間がかかり、兆ドル企業を生み出さないということだった。彼らが実際に長期的に運営しなければならない企業を生み出すだけであり、それは退屈なことだ。
- bemtevi
「彼は今年か来年、金融や電力システムの一時的なブラックアウトのような大規模なインシデントを引き起こす可能性があると警告した。」
奇妙に聞こえるのは分かっているが、これが起こり得る最悪のことではないと私は本当に思う。確かに少し混乱は生じるだろうが、現在の無制限な開発路線を続けることについて再考を促すかもしれず、さらにはるかに慎重にさせる可能性もあり、それがひいては気候危機の解決にさえ役立つかもしれない。
なぜなら、大衆は一つのことだけに反応するからだ。それは「差し迫った困難」だ。「気候が悪化している」とか「技術は遠い将来、生活をより困難にする」といった遅れてやってくる困難には反応しない。彼らは目の前の苦痛にしか反応しないのだ。
だから、金融システムに深刻な脅威が生じるのは良いことだと思う。そうすれば、将来の問題を技術的解決策と金銭的緩衝で相殺する傾向のある金持ちたちが、技術に対してずっと疑い深くなり、AIや自分たちの安全を脅かしそうな無駄なものへの資金提供を止めるようになるだろう。
- bvan
もちろん、我々はそうだ。
80年代末から90年代初頭、機械学習に携わっていた人々は、今日我々を悩ませているようなAIのクソを生成するために使われるシステムを開発しようとは夢にも思っていなかった。良いものが、絶対に魂を削るような無意味さによって窒息させられている。
- dust42
だからヒントンはテックリーダーを信用していないのだが、政府がLLMを検閲する結果として、テックリーダーと政府だけがAIに無制限にアクセスできるようになる。
もし誰かがAIの助けを借りて重要なシステムにハッキングできたのなら、そのシステムは事前にすでに危機的に悪い状態だったのだ。開発者がAIを使ってコードのセキュリティ欠陥をチェックできなければ、セキュリティは良くなるどころか悪化する。
- gkcnlr
> [...] 彼は今年か来年、金融や電力システムの一時的なブラックアウトのような大規模なインシデントを引き起こす可能性があると警告した。
これは信じない。世の中には、勝手にベンダーのスタックを乗っ取ったり、地球上で最も重要なインフラをブルートフォースで手に入れたりするような、呪術的な「暴走AI」など存在しない。この種の予測は、膨大な計算資源と特定のアジェンダを持つごく少数の人々がそのようなことを決断した場合にしか実現しないし、それを引き起こすには、特に何らかの金融「崩壊」を起こすには、とてつもない量のデータセンター能力が必要だ。
- socketcluster
私の主な恐れは、あらゆるものの完全性が損なわれるのに、誰もがそうではないかのように振る舞い続けることだ。すでにいくらかそうなっている気がするが、さらに悪化することを心配している。
私の予測では、一部の人々はAIを使って（ハッキングを通じて）銀行口座に事実上無限のお金を生み出せるようになる。無限のお金を持つ人々が資産を買い漁ることで資産価格は馬鹿げた額まで上昇するが、すべての資産の利回りはやがて0%に近づく。それでも、一つの資産は他のすべての資産よりも速い速度で成長する（例：ハッキング不可能なブロックチェーン/トークン化された株式に支えられたAI企業）。そして誰もがその資産に無限のお金を注ぎ込み始める。他のすべての資産は、トップ資産の急速で指数関数的な価格加速によって比較にならないほど魅力がなくなり、暴落する。そしてフィアットマネーは消滅し、代わりにトップ企業の株式（または暗号トークン）がお金として使われるようになる。すると資産価格は新通貨建てで再び安定する…その後、ようやくAIでイノベーションを始められるようになるのだ。
- gchamonlive
「[マーク]・ザッカーバーグや[イーロン]・マスク、サム・アルトマンはリスクを理解しているが、そんなことは気にしていない。彼らはむしろお金が欲しいのだ。それが私の信念だ。」
時価総額が兆ドル近い、あるいは超える人々にとってリスクとは何か？企業が大きくなりすぎて潰せなくなると、リスクは無意味になる。
- asdfsa32
「我々」。誰が「我々」なのか？これはあなたや私の話ではない。そもそも「我々」など存在しなかった。口を開く前に、あるいはペンを置く前に、一度くらい株主価値のことを考えてみてはどうか？