AIが査読を崩壊させる? 経済学界に迫る査読レポートのAI検出義務化
Can Peer Review Survive AI-Generated Text? [pdf]
LLMが論文や査読レポートを書く時代になり、査読制度は崩壊の危機にある。著者らはNature Communications掲載の実際の査読レポート25件を使い、LLMに校正・編集・書き直し・新規作成をさせてPangramで判定。校正や編集では人間と判定される一方、論文から新規作成したレポートはほぼAI生成と判定され、しかも全てが既発表論文に「大幅修正」を勧告した。著者らはAI検出器を標準ツールとし、AI生成レポートを盗用と同様に扱うべきだと主張する。
本当の問題は論文やレポートがAI生成されたことではなく、その背後で誰も思考していなかったこと、そしてそれが露呈したことだ。
HNでの議論
78- marginalia_nu
公平に言えば、査読モデルはAI生成テキストが登場するずっと前から崩壊しつつあった。主な原因は学術誌の搾取的な性質で、それが良い科学を生み出すことと一致しないインセンティブ構造を生んでいる。
査読者は無給で、良い仕事をするインセンティブが皆無だ。多くの場合、論文を次々と別の雑誌に投稿し続け、読む気すらない査読者に当たるまで続ければ、そのままゴム印を押すように通ってしまう。その結果、驚くほどお粗末で、しばしば完全に不正な科学が査読を通過してきたのだ。
- patrickmay
TFAを読む気のない人のための要約:
「大規模言語モデルは今や経済学の論文や査読報告書を書いている。この分野は出版プロセスにおけるAI生成テキストの扱いについてベストプラクティスを開発しなければならない。さもなければ、査読は崩壊の深刻な危機にある。我々はAI検出器がこの職業の標準ツールになるべきだと提案する。我々の実験は、AIが書いた査読報告書を検出できるが、AIが単に校正や編集を手伝っただけの報告書は検出しないことを示している。
簡単なモデルを用いて、AI生成とフラグが立った論文はより注意深く読むべきであり、最初の誤りで拒否できると論じる。また、AI生成の査読報告書は、編集者が自分でプロンプトを実行すれば得られる以上のものを何も加えない。そのような報告書は受け入れられない。著者や雑誌に損害を与えるものであり、盗作のように扱うべきだ。個人の自制はすでに限界を示しており、この集団行動問題を解決するために職業としての規範を発展させる必要がある。最後に、著者、査読者、編集者向けの実践ガイドで締めくくる。」
- FabCH
私は時々査読者をやっています。
査読は長い間死につつあります。
私の意見では、解決策はAI以前も簡単でしたし、AIがあっても簡単です:
ダブルブラインド査読、ただし投稿プロセスの後、記事と査読の両方が完全な帰属表示付きで公開されるようにするのです。
- astro1234
この集団によって歴史的に圧倒的に拒絶されてきた種類の意見を言おう:
査読は約2年で重要でなくなり、こんな質問をしていたこと自体が馬鹿げていたと感じるだろう。
パフォーマンスの傾向が信じられないほど安定しており、むしろわずかに加速していること、事前学習のスケーリング則とその事後学習の類似物が信頼できるもので数学的に議論の余地がないこと、これらが何度も証明されているにもかかわらず、これらの明らかに正確な予測があまりにも信じがたいため、人々はまだ受け入れていないようだ。この文は真実であり、過去4〜5年のどの時点でも言えた(そして何度も言われてきた)。
AI 2027のシナリオは投稿されると笑えるが、恐ろしいことに今日の我々の状況からそう遠くない。DwarkeshがAnthropicの研究者や他のラボの人々との会話から報告しているように、我々は2027年までにRSIを解決する軌道に乗っている(これもパフォーマンスの傾向とモデル性能の測定方法を少し知っていれば比較的簡単に予測できることだ)。
世界は死にゆく星のように崩壊することはなく、経験は多かれ少なかれ今日と同じだろうと思う。ただし、いくつかの能力ははるかに高い改善率を経験するだろうし、AIが決して回避できない避けられないボトルネックや、打破する方法を解明するのに何年もかかるものもある。しかし「ああ、査読する人間がいない」なんて[…]
- imeanwhatdoikno
アカデミアにいないので、以下は素朴かもしれないが、LLMが論文を書きLLMが査読する以前の時代に戻るとは考えにくい。LLMの出力量も減少するとは思えない(そして私の理解では、LLM以前の時代でさえ書かれる論文の数はすでにシステムを圧倒していた)。だから:
1. 論文はウェブ上で自己出版できる(ArxivやGithubなどどこでも)。
2a. 論文は主に非公式な手段(Xや他のソーシャルメディア、口コミなど)で告知・宣伝できる。
2b. さらに、著者が所属する学術機関や業界団体による定期的な公式発表があってもよい。例えば、大学が各学部から選んだトップ10(お好みの10の値で)論文のリストを公開するなど。これらの「トップ10」リストに論文が含まれることは、必ずしもその論文が何らかの形で査読されたことを意味しない。単にその論文がチェックする価値があるかもしれないことを示すだけだ。
3. 雑誌や編集者の目的は、論文の査読・出版から、これらすべての非公式な発表や「トップ10」リストを集約して、それぞれの分野で最も興味深い/有望な新しい論文をURL付きで特定することに移行できる。そうすれば、それらのトピックに興味のあるコミュニティのメンバーが、問題の論文をチェックするかしないかを決めることができる。