査読付き論文がTorrentFreakの「存在しない記事」を引用、AI利用の痕跡
AI-Assisted Paper on Z-Library Cites a TorrentFreak Article That Doesn't Exist
ナイジェリアの大学の司書2人がNew Review of Academic Librarianshipに発表したZ-Libraryに関する論文で、実在しないTorrentFreak記事への引用が見つかった。44件の参考文献のうち10件以上が確認できず、実在する専門家の名前とそれらしいタイトルが組み合わされている。謝辞にはConsensus AIとChatGPTの使用が明記され、AI検出ツールPangramは要旨と結論を「100% AI生成の可能性」と判定した。出版社のTaylor & Francisは倫理部門で調査中だとしている。
AIがこれらの誤りの原因だとしたら、なかなか皮肉な話だ。商業的な査読付きジャーナルに載った論文が、Z-Libraryについて書くのにAIに頼っていたということになるのだから。
HNでの議論
49- gertrunde
私の中のいたずら心が、もしTorrentFreakがその論文をかき乱すような内容で対応する記事を書いたらどうなるだろうと考えてしまう……
- pyrophane
この数年でモデルのハルシネーションがどのように、そしてどれくらい改善されたかについて、データを持っている人はいますか？
- kome
そんなことはいつでも起きている。悪いことだが、もうニュース価値があるのかどうか疑問だ。学術出版はAIのはるか前から道化の車だった。今はそれがより露わになっただけだ。引用を捏造するのが馬鹿げているのは、言いたいことすべてに何かを引用しなければならないことだ。人文科学の論文の引用のほとんどは、実のところ必要ない。
- yuan-nvwa
捏造の側から見た実用的な見分け方の一つは、でっち上げられた参考文献リストはたいてい都合が良すぎるということだ。本物の文献は凸凹している——主張を部分的にしか支えない引用、それに反する研究、誰も実験をしていない空白。捏造されたリストには凸凹がない。すべての項目が、それが付けられた文を、同じ強さで、同じ語調で支えている。
もう一つは、テキストの自信が何の情報も運んでいないということだ。引用は周囲の文と同じプロセスで生成され、[12]が存在しようがしまいが「[12]に示されるように」と書くのにコストはかからない。だからこそ「本物の引用のように読める」は証拠にならず、チェックは機械的に行わなければならない。
- henry0213
私は小さなAI支援の出版物を一人で運営している。出典を確認することは必要だが、それが私が最も心配している誤りを捕まえるわけではない。引用チェックは捏造された出典を見つける。だが、あることが書かれていないのに、そのために本物の出典が引用されているケースは見つけられない。
今日、自分の仕事でそれに引っかかった。ある文が、AI学習のフェアユースについて控訴裁判所が「逆の判断」を下したと述べていた。事件、日付、判決——すべて正しい。チェックできる事実はすべて通った。しかし私は要約しか読んでいなかった。実際のPDFを開くと、脚注7で、裁判所が私の文が対置した生成AIの事件とは明確に区別していると述べていた。
そんなことを捕まえる引用チェッカーはない。出典は本物で、引用も正しかった。枠組みが間違っていたのだ。
それを捕まえたのは、無関係に聞こえるルールだった。一次記録のみを引用し、要約や解説は決して引用しない。もし法律事務所の解説記事を出典として数えていたら、私は今も間違ったままで——しかもすべてのチェックを通していただろう。