2000万人の個人情報を守った電話が、いまAIの訓練環境で再現されている
The systems that no one will test
2020年、筆者はブラジル連邦システムの脆弱性を発見し、2億人以上の個人情報にアクセスできる状態だった。電話一本で迅速に修正されたが、2026年には同様の脆弱性がAIの強化学習環境で再現され、誰も電話を取らないまま悪用される危険がある。フロンティアラボがサイバー企業の協力で構築する環境の実態と、開発途上国が最も脆弱になる構造を警告する。
同じシステム、ほぼ同じ脆弱性を再現する環境がどこかにあると想像せずにはいられない。複数のエージェントが毎秒何千回も侵入し、そのうちの一つが脆弱性を見つけるまで軌跡を生成し続ける。違うのは、それが実運用に移されたとき、どの試行でも誰も電話を取らないということだ。
HNでの議論
33- Modified3019
関連情報：
https://www.reddit.com/r/YouShouldKnow/comments/1wssf4u/ysk_...
https://imgur.com/a/6FaQQhb （モデレーターに削除される前の元の投稿）
>The Work Numberは、Equifax（数年前に大規模なデータ侵害で有名になった企業）が所有する、雇用と給与情報を含むデータベースです。
>theworknumber.comでログインを作成し、自分のレポートを取得できます。私のものは74ページにわたり、過去13年間に働いたすべての会社からの情報が含まれており、受け取ったすべての給与について、正確な金額（手取りと総額の両方）と労働時間が記載されています。雇用開始日と終了日、退職理由、源泉徴収の詳細、福利厚生の加入状況、労働組合への所属などなど。
>このデータは、従業員が使用しているHRプラットフォーム（ADP、Rippling、Gusto、iSolvedなど）から直接提供されています。Equifaxは、雇用背景調査などのためにあなたのデータを販売しています。
>The Work Numberからあなたのデータを削除することはできません。レポートを凍結することはできます（信用報告書のように）が、潜在的な雇用主が凍結されたレポートにアクセスできない場合、あなたが不採用になる可能性があります。
>なぜYSKか：就職面接をしている場合、特に給与交渉などで著しく不利になる可能性があります。なぜなら、彼らはあなたがいくら稼いでいるか、直近の給与明細まで文字通り見ることができるからです。債権者もこれらのレポートにアクセスできます。
>これは私が今まで見た中で最大のプライバシー侵害であり、ほとんど誰もそれに気づいていません。確かに、私たちの誰も雇用と収入のデータがこのように扱われることに同意したわけではありません […]
- areoform
セキュリティとLLMをめぐる物語は、私には意味がわからない。
私たちは自己成就予言を作り出してしまったのだと思う。関係者全員が最善の意図で行動しているが、恐れているものを避けようとするあまり、その恐れに形を与え、実現させてしまっている。まるでギリシャ悲劇のように。
その例がオイディプス王の物語だ。物語では、王ライオスは「自分の息子の手によって滅びる運命にある」（そして母と結婚する）と告げられる。そこでこの運命を避けるために、彼は嬰児を殺すことに決める。森に捨てる役目を任された人物は赤ん坊を哀れに思い、その子を他人に渡す。それによってオイディプスは母も父も知らずに育つ（そしておそらく父を殺す理由を与えられる）。
その子は成長し、同じ予言を再び聞き、養父母を愛しているため、自分も予言を避けようとする。そこで彼らを離れ、ライオスの王国へと旅立ち、そこでライオスと出会う。互いに相手を認識しない。ライオスは嬰児を殺すような男なので、口論になり、オイディプスは彼を殺してしまう。
古代人は何かを見抜いていたと思う。なぜなら、もしライオスが予言に対して勇気をもって対応していたら、彼は救われていただろうから。彼が恐れに立ち向かい、オイディプスを愛をもって育てていたなら、予言が実現するための必要な前提条件は根付かなかっただろうと論じたい。しかし、そうはならない。
自分の神経症に駆られ、恐れから残酷に行動することで、ライオスは予言を現実のものにする。
[…]
- teiferer
> 正直言って彼らを責めない： […] ソフトウェアはソフトウェアだ
その態度が問題なんだ。なぜ我々の業界は品質に対してそんな態度を取るのか？私の小さな町の自転車屋はどれも、世界の平均的なソフトウェアショップより品質が高い。確かにソフトウェアは自転車より複雑だ。しかしソフトウェアエンジニアは10倍の給料をもらい、自分の製品にかなりの時間を費やす贅沢がある。それに比べて、町の自転車屋の親父は10分で私の自転車の問題を診断して直し、その後私はその自転車で交通の中を走り、命を預けるんだ。
我々はソフトウェアを違うふうに扱う必要がある。「ああ、ただのソフトウェアだろ、肩をすくめる」ではもう通用しない。たとえ昔からそうだったとしても。
- kitd
元の脆弱性は、法執行機関（あるいは犯罪組織かもしれない）が捜査を「迅速化」するためのメカニズムとして意図的に仕込まれたものではないかという感覚が拭えない。
- madaxe_again
政府機関から他人の個人データが絶えず少しずつ送られてくるのは私だけだろうか？
今年、イギリスからは他人の裁判所召喚状、他人の税務書類（住所の間違いではなく、私へのメールに誤って添付されていただけ）などが送られてきた。
ポルトガルからは、単純な列挙の穴を通じて、あらゆる対象の不動産税情報を私に開示された。
そして先週は、ブラジルの農業省から他人の家畜輸送の詳細が送られてきた。
我々の情報環境は信じられないほど多孔質だ。束縛されていないAIにとって秘密など存在しないだろう。