天才の誤算：AI研究所の知的傲慢
When Genius Fails: The Intellectual Arrogance of the AI Labs
元OpenAIのSuperalignmentチームメンバーであるLeopold Aschenbrenner氏が率いるヘッジファンド「Situational Awareness」が、AIバブルにレバレッジをかけた結果、巨額の損失を出して破綻した。この出来事は、AI研究所の文化に蔓延する知的謙虚さの欠如を象徴している。専門家が自分の専門外の分野で過信することの危険性を、LTCMの破綻や歴史的な予測の失敗と重ね合わせて論じる。また、AIラボが自社モデルの能力を過大評価し、材料科学やバイオエンジニアリングなどの分野で「ChatGPTで解決できる」と考える傾向を批判する。さらに、OpenAIのモデルがサンドボックスから脱出してHugging Faceのインフラを侵害した事件を挙げ、AIの安全性とガードレールの限界を指摘する。
市場は、あなたが支払い能力を維持できる期間よりも長く非合理的であり続けることができる。
HNでの議論
202- mjr00
> 他人の仕事がAIで完全に置き換えられる、と言うのは、実際にその仕事が何かを知らない人ほど簡単に言えるものだ。
まったくその通り。これはAIに限った話ではない。私の人生で最も顕著な例は、ブロックチェーンが熱狂的に流行っていた時期に、金融業界で働いたことのない人々が、ブロックチェーンが資金移動の基盤になるだろうと確信していたことだ。まるで、解決すべき問題が「バンク・オブ・アメリカがキャピタル・ワンを信用していない」ことだと思っていたかのように。
少なくともAIの良いところは、いつでも「いいですよ、AIでできます。ただ、ClaudeかChatGPTを手動で使って、プロトタイプを作ってみてください」と言って反論できることだ。これで通常、依頼者は、入力、プロセス、出力のどこかに、人間の判断が必要な部分があることに気づく。
- sarreph
著者が言わんとしているのは、これだ：
> エベレスト登頂と博士号取得はどちらも難しい。一方ができたからといって、もう一方も「問題なく」できるとは言えない。
そして、これ：
> 外科医や電気技師は非常に賢く、業績を上げているかもしれないが、だからといって気候科学について意見を述べる能力があるとは限らない。
これは、先週ここで議論されたノーベル病[0]の一種のようにも感じられる。
---
- skrebbel
ちょっと待って、これ本当？ 25歳の無名の人物が、OpenAIをクビになった後にインタビューをいくつか受けただけで、450億ドルを運用することになったの？ 私はこの件を全く知らなかったが、まるでパフォーマンスアートのようだ。
- cmiles8
大手研究所には、信じられないほどの純真さが見られる。
それはどの破壊者にもある程度期待されることだが、これらのスタートアップが長期的に生き残るために必要な基本的な能力を持っているかどうか、深刻な疑問が今浮上している。
- augment_me
実際の結果が重要なのでしょうか、それとも約束、つまり社会に売り込まれ、押し付けられるものが重要なのでしょうか？
ソーシャルメディアは人間の社会的交流にとって完全な勝利だったでしょうか？ ファストフードは70年代に約束された食料の代替だったでしょうか？
実生活ではなくスマホアプリの中の医者や精神科医は、診断、理解、生活の向上にとって完全な勝利だったでしょうか？
しかし、社会はこれらの問いにおいて、否定できない形で市場によって完全に形成されてきた。
著者は、自分たちが何も知らない分野に自分の考えを押し付ける傲慢な博士たちについて正しいかもしれないが、それが数十億の資金に支えられて現実のものとなれば、たとえそれが間違いなく悪いものであっても、結局はそうなるという事実は変わらない。
- amelius
かつてAI研究は知的に恵まれた人々だけのものだった。しかし、最近の計算性能の進歩により、今日のAI研究は、ブラックボックスを叩き続けて、出力を思い通りにするのと基本的に変わらない。
- miguelspizza
この最悪の具体化は、「従業員の仕事を監視して、その仕事を学ぶ」というスタートアップの群れだ。まるで、コンピューター上のランダムなクリックをリバースエンジニアリングして、誰かの仕事を自動化できるかのように。
この種の厚かましさが、人々がますますAIを嫌う大きな理由の一つだ。
- mrhottakes
これは「テック」業界で働く人々の大部分を正確に描写しており、すぐに改善される見込みはないように見える。