AIが室温超伝導体を一発で当てたら、ウイルス設計も警戒せよ
Watch AI materials-science and bioscience abilities closely
AIが人類を滅ぼす経路として頻繁に挙げられるのが、設計されたウイルスによるものだ。だが複雑なウイルスの設計には試行錯誤が必要で、単発の不正利用よりはるかに高い壁となる。その最初の兆候は、材料科学や生物学におけるAIの能力に表れる。もしfrontier LLMが室温超伝導体や癌の治療法を一発で見つけられるなら、ウイルス設計の脅威を真剣に憂うべきだ。逆にそれができないなら、脅威モデルの焦点を移し、AIに実験室への長期的アクセスを与えない仕組みを整えるべきだ。
もしfrontier LLMが室温超伝導体や癌の治療法を一発で見つけられるなら、ウイルスで何をするかについて極度に警戒すべきだ。
HNでの議論
49- kyledrake
この投稿はAIが研究室をソーシャルエンジニアリングして何かを作らせることに焦点を当てているけど、それは間違った懸念だと思う。AIに関するもっと大きな懸念は、個人または少数の個人グループがAIを非常に便利なアシスタントとして使い、DIYレベルで致死性のウイルスを開発する方法を学ぶことだ。
私はAIがターミネーター2のスカイネットになるという考えにはかなり悲観的だが、バイオテロリズムの議論にはある程度の信憑性があると思う。かつてテロ防止を任務とする組織で働く人々と話したとき、これが彼らを夜眠れなくさせているものだった。しかもそれはAI以前の話だ。
- chasd00
SpaceXのRaptorエンジンの酸素側プリバーナー用合金を考案するのは、何日も何晩もかけた退屈な試行錯誤の連続で、恍惚とする「ひらめき」の瞬間ではなかったと聞いたことがある。AIがこうした種類の問題を助けられるかどうか疑問に思う。ソフトウェアでシミュレーションできるなら、AIにその試行錯誤をやらせればいい。
フルフローステージ燃焼ロケットエンジンの酸素側プリバーナーは過酷な場所で、その環境に耐える材料を見つけることがRaptorを実現する鍵（または鍵の一つ）だった。
- Semkas
ここで「ワンショット」という用語は果たして適切なのか？AIの文脈でワンショットとは、LLMに単一のプロンプトを与え、さらなる入力なしに驚くほど良い結果（通常はコード関連）を返させることを意味するが、LLMは（おそらく）結果を表示する前にまだかなり反復している。Codexが何かを「ワンショット」するとき、それはコードが簡単にテスト可能であるという事実に大きく依存している。
- alansaber
AIを使って異なる結晶配置を総当たりで試し、MD/DFTを実行して候補を特定できる。すでにこれをやっている研究グループがないなら（完全にではないが）驚くだろう。物理サンプルで迅速に反復するのは、私の知る限りまだ我々の能力を超えている。
- jackb4040
科学フィクションを現実にしようと願う合理主義カルトフォーラムからの無知な推測。
LLM以降のAI開発の軌跡を実際に見れば、成功はすべて主要ラボが大量の相関データを入手する方法を持っている分野で起きている。だから彼らは今数学に進出しているのだ。生物科学データでこれが再現されるとは思えない。生物科学データは極めて proprietary で、最終製品の一部として公開される必要もない。書籍や映画にあったような海賊版のブラックマーケットに相当するものさえない。このデータはこれまで一般にとって価値のあるものではなかった。