AIがソフトウェアを「安全すぎる」ものにし、米国の諜報・法執行機関が「暗闇」に突入する
Everything is about to "go dark"
暗号技術の専門家である筆者は、AIによる脆弱性発見の進展が、ソフトウェアを「安全すぎる」ものにし、米国の諜報・法執行機関の能力を大幅に低下させると警告する。2010年代の暗号化普及により「Going Dark」問題が生じたが、当時はハッキングツールの購入で対処できた。しかし、AIが脆弱性を根絶しつつある今、政府は意図的なバックドアの設置を迫る可能性が高い。これは自国のシステムを弱体化させ、敵対国に攻撃の機会を与える危険な自己破壊行為だと筆者は懸念する。
これは、私たちがついに自らのインフラを守る方法を学びつつあるまさにその瞬間に、意図的な自己破壊が起こるということです。
HNでの議論
249- Animats
コンピュータ化された中央交換局が登場する前は、電話の盗聴には物理的な配線を敷設する必要があったということを認識しておく価値がある。ルディ・ジュリアーニが組織犯罪を起訴していた時代には、物理的な配線を敷設するだけでなく、警察はその配線を高額な専用回線として請求されていた。彼のタスクフォースは、ニューヨーク電話会社に年間約100万ドルを盗聴に費やしていた。
ある事件では、法執行機関が請求書を支払わなかったため、盗聴されている人物の請求書に盗聴接続が表示され、事件が台無しになった。
その結果、通信支援法（CALEA）が制定され、中央交換局にリモート盗聴機能が義務付けられた。回線の1%までの容量が要求されている。
電気機械式の時代には、収集できる通話データは「ペンレジスター」を使った発信ダイヤルパルスのみだった。[1]（ウィキペディアに掲載されているものは私のものだ。真鍮製の美しいアンティークの電信技術だ。ダイヤルパルスをダッシュとして記録し、大きな真鍮の鍵で時計のように巻かなければならない。）令状なしで「ペンレジスター」を認めた最高裁判決は、これらの「極めて限定的な」装置を指している。その定義は、法執行機関によって、電話会社が収集するすべての非音声データにまで拡張され続けている。
法執行機関は今もなお、より多くのものを求めている。
- mbroshi
> 現実世界では、有用なバグの数には何らかの上限に達する可能性が高いと思われるが、おそらくそれはすぐに来るだろう。
これは私には共感できない。企業がAIを使ってずさんに書かれた機能を追加しているのを目の当たりにしている。私が使っているソフトウェアには、減るどころかバグが増えている。ソフトウェアがバグだらけになりつつも、より安全になっている可能性はあるが、それらは反対方向ではなく同じ方向に動いているのではないかと思う。
推測するに、AIを使って既存のセキュリティ問題を発見する（そして修正する）能力は向上しているが、同時に、より安全でない攻撃対象領域をより速いペースで追加しているのだろう。
- Insimwytim
一方には、このような記事がある。そこでは、大規模で適切に分散された予算を持つ真剣なプレイヤーたちが、最先端の技術と最高の頭脳を駆使して絶えず戦っているように見える。他方には、ハッキングの通常のニュースがある。そこでは、ルートアクセス権を持つセキュリティ担当責任者が、基本的な技術知識を（何度も）理解できず、セキュリティのベストプラクティスからの「絶対にやってはいけない」リストのすべてのチェックボックスにチェックを入れ、その結果、すべての顧客が侵害された。
それは、同じ場所に同時に存在しながら、なぜか交差することのない、二つの並行世界のようなものだ。
- fitblipper
法執行機関が暗号化されたチャットにアクセスできないとか、ソフトウェアにバックドアが組み込まれていないという理由で「暗闇に突入する」というレッテルを貼ることの馬鹿らしさが、私はずっと好きだ。大多数の家、信号機、そして人々の手の中に防犯カメラがあり、人々の交友関係に関する多くのメタデータがGoogle、Facebook、その他のソーシャルプラットフォームから共有されているとき、どうして彼らは「暗闇に突入する」と言えるのだろうか。これらのものが存在する前に、彼らはどうやって犯罪を解決していたのだろうか？
- teravor
政府が何かできるという主張は、最終的には成り立たないと思う。民主主義において、彼らが「暗闇に突入する」ことを避けられるとは思えない。
私たちは、政府がソフトウェアをダウンロードするだけで誰でもアクセスできる違法薬物市場に対してさえ、ほとんど何もできない世界に住んでいる。
もし政府がバックドアアクセスを義務付ける法律を可決し、それに従わないソフトウェアをブロックすれば、ますます多くの人々がダークネットワークに移行するだろう。
そして、もし彼らがダークネットワークを効果的にブロックすれば（極限では、すべての暗号化通信をブロックしなければならないだろう）、私たちは専制政治に生きることになるだろう。
自由は厄介なものだ。デジタル犯罪は、犯罪者が具体的なミスを犯したときにのみ解決できるということを受け入れよう。LLMは犯罪者のプロファイルを構築し、ミスの特定に役立てるだろう。
- RajT88
無限の予算を持ち、最高の頭脳を雇っている政府が、悪者を捕まえるために真剣な努力を払わなければならなくなり、全世界をカジュアルにスパイすることが割に合わなくなるかもしれないというのは、私の心を痛める。
刑務所マシーンに食料を供給しようとする人々が、普通の市民を刑務所の餌にする言い訳を簡単に見つけられなくなるという考えに、私はただ言葉を失う。
本当に悲しいよ、みんな。
- Gigachad
米国政府とイスラエルが皆の電話をハッキングできなくなることを心配しろって？
- embedding-shape
> 実際、この力学の最悪の点は、これらの潜在的な新しいバックドアが、まず第一に米国が自国のシステムを弱体化させるために役立つということだ。それは結果的に、外国の敵対勢力が我々の通信を攻撃する新たな方法を見つけることを可能にするだろう。この意図的な自滅行為は、我々がようやく自国のインフラを守る方法を学んでいるまさにその瞬間に起こるだろう。
法執行機関（および諜報機関）が他者に意図的なバックドアの実装を強制すると同時に、誰もがAIを使ってソフトウェアのすべての潜在的な穴を見つけて保護するので、脆弱性はもうなくなるという主張を、どうして同時にできるのか理解できない。
あるAIがこの意図的なバックドアを検出して報告するだろう。それは他のセキュリティ脆弱性とまったく同じように見えるからだ。唯一の違いは意図だけだ。
私は著者を尊敬しているので、このテーマについて私が著者より優れた見解を持っているというよりも、おそらく全体のテキストから何かを誤解しているのだろうと感じている。「では、これはどうして問題なのか？」というところまではうなずきながら読んできたが、今は正しく理解できたかどうか自信がない。