パングラムの誤検知率を検証：AI検出ツールは学習データを記憶しているのか？

Scanning for Pangram Errors

AI検出ツールPangramは、誤検知率が1万分の1と主張していますが、その信頼性を疑問視する声もあります。著者は、Pangramが学習データを記憶している可能性を検証するため、デジタル化されていない古い書籍45冊をスキャンしてOCRでテキスト化し、Pangramにかけました。その結果、AIと判定されたのはOCRツールのMistralが幻覚で生成したテーブル部分のみで、Pangramは正しくAI生成コンテンツを検出しました。この実験から、Pangramは学習データを記憶しているのではなく、実際にAI生成テキストを識別していることが示唆されました。