TMLR編集長が著者10人に直接面談、3人は論文の基本質問に答えられず

ここでのより大きな問題は、研究論文の価値は、それが加える特定の知識にあることは稀で、むしろ研究のプロセスが、特に関係者、特に大学院生の訓練において、集合的な知識と経験に加えるものにあるということだ。AI論文はこれを完全にショートカットする。学界も、論文を成功の通貨にしたことで、これに対して多くの責任がある。AI生成論文は、システム全体レベルでのほぼショートカット学習だ。

同じ流れで、2027年の計算理論シンポジウム（STOC）は、その論文募集（Call For Papers）（https://acm-stoc.org/stoc2027/stoc2027-cfp.html）にいくつかの興味深い変更を加えた。特に、論文は事前にプレプリントリポジトリに提出すること、著者は自分の結果を説明する20〜30分のビデオプレゼンテーションを提出することを要求している。

学界は清算の時を迎えている。

すでにプロセスを経て（あるいは別の方法で）十分な評判や資格を得て、自分の論文を自己マーケティングできる関係者は、ジャーナルを完全にスキップできる。OpenAIがやったのはそれだ。十分に強力なAIモデルと修正パイプラインがあれば、ある程度の洞察を与えられれば論文を生成するのは簡単だ。

論文は論文を配布するチャネルであることを思い出すべきだ。編集者は今は無給だが、ジャーナルの経済性は、編集者が論文の掲載料を支払う学校に論文をキュレーションまたは配布するインセンティブを持つようになっている。一部はこれを品質の核心的指標と見なしている。しかし、計算生物学を扱った私の経験では、某ジャーナルの論文は、再現用のコードが付いたGitHubリポジトリの論文と比べて、品質の刻印を意味することはほとんどない。これは単純に壊れている。なぜなら、ジャーナルと査読者は、論文のデータと結果が正しいことを、論文の結果を再現しない限り保証できないからだ（それが数学や理論でないと仮定して）。

これらはどれも、論文を生産するペースについていくのにすでに苦労している学生たちの助けにはならない。

> 別途、我々のグループは、そのような評価をよりスケーラブルにするためのアプローチを模索している

実際、それは査読一般にとって興味深いアイデアに思える。査読者と著者の間のインタビューを含めるというのは。もしそれが反論や反応の1ラウンドを節約できるなら、きちんとやっていれば、皆の時間をそれほど多く消費する必要はない。それが損なうのはブラインド性だが、何かを諦めなければならず、それはすでに廃れつつあった。

私見だが（論文を書いたことはないが、大学院時代にたくさん読んだ）、魔法のランプの精は瓶から出てしまった。私が見る限り、前進する唯一の方法は、レビューにもLLMを使うことだ。基本的に、提出されたすべての論文をLLMでフィルタリングし、要約させ、最大の弱点と主な強みを見つけさせる。人間がそれを使って論文をレビューできる。要するに、LLM-as-a-reviewerだ。

個人的には、人々が仕事や論文執筆にLLMを使うことが明示的に奨励され、LLMがそれらをレビューするのにも使われる会議を見てみたい。

> 著者が技術的な部分について質問に答えられず、時には論文に関する基本的な質問にさえ答えられない場合、どうやって論文の内容を検証できたのか理解しがたい

答えられないなら、あなたはその論文を書いていない。つまり、自分の貢献を偽って表現しているのであり、これにはすでにプロセスがある。そしてこれは実際、あらゆる分野にとって本当に良いテストだ。AIを好きなだけ使え。しかし、自分の仕事を説明できる必要がある。SWEにも当てはまる。コードレベルとシステムレベルで、自分が何を作ったか理解する必要がある。

査読には歴史的な問題があるが、科学と科学出版の風景は変わった。著者性と著者の理解に関する新しい問題が、LLMが（少なくとも）よく聞こえる論文を書くことによって挑戦されている。中には主題的に許容できる品質のものもあるかもしれない（私は科学におけるAIに反対ではない。数学の仕事のいくつかは素晴らしかった）。一方で、私は著者が自分の仕事を理解していないことに反対だ。高名なジャーナルは、論文受理プロセスに「口頭試験」を追加する必要があるかもしれない…