TMLR編集長が著者10人に直接面談、3人は論文の基本質問に答えられず
Asking Authors About Their Own Papers
TMLRの編集長Nihar B. Shah氏が、desk rejection対象となった10本の論文著者にZoom面談を実施。3本の著者は論文の基本質問に答えられず、3本は技術的詳細に難あり、全質問に答えた1本にも重大な誤りを発見。AI生成論文の見極めと査読負荷軽減のため、desk rejectionプロセスの有効性を確認する試みだった。
著者は最終的に、自分の名前で投稿する論文の正確性と完全性を保証する責任がある。もし論文の基本的な主張や手法、技術的詳細を説明できなければ、それは深刻な問題だ。
HNでの議論
59- fn-mote
この投稿に対するMediumのコメントも的を射ている。受理された論文で同じ実験をすることは良い対照実験になる。査読者で同様の実験をするのは面白いだろうが、彼らは報酬をもらっていないので、より厄介だ。
査読者の数時間を無駄にして正当でないことを証明させた著者たちのプライベートなブラックリスト（シャドウバン）を保持したいところだ。しかし、そのようなリストの存在自体が問題になるだろう。
ここで使っているのと同じシステムを適用できるだろうか？受理された著者が「死んだ」論文を「自動キル」された場合に「保証」できるように？
このシステムは壊れており、壊れている証拠をさらに提供しても、修正への大きな一歩にはならない。
- c7b
> 別途、我々のグループはこのような評価をよりスケーラブルにするためのアプローチを模索してきた
実は、それは査読全般にとって興味深いアイデアに聞こえる。査読者と著者の間の面接を含めるというのは。もしそれが反論/反応の1ラウンドを節約できるなら、適切に行えば皆の時間をそれほど多く消費する必要もない。損なわれるのは匿名性だが、何かを犠牲にしなければならず、それはすでに廃れつつあった。
- greenflag
ここでのより大きな問題は、研究論文の価値は、それが加える特定の知識にあることは稀で、むしろ研究の過程で関係者の集合的な知識と経験、特に大学院生の訓練に加わることにある。AI論文はこれを完全にショートカットする。学界も論文を成功の通貨にしたことで、これに対して多くの責任がある。AI生成論文は、システム全体レベルでのほぼショートカット学習だ。
- WCSTombs
これは著者によるLLM使用に関するジャーナルの方針である[1]：
> LLMは汎用の補助ツールとして使用できる。どのツールを使用するにせよ、著者は（共）著者として記載されている内容に対して完全な責任を負う。これには、剽窃や科学的不正行為（例えば事実の捏造）と解釈されうるLLM生成コンテンツが含まれるが、これに限定されない。主にLLMによって生成されたと思われる低品質の投稿（投稿であれレビューであれ）は、前述のような科学的不正行為などの問題の証拠がないか厳密に調査される。LLMは著者資格を得られない。科学プロセスにおけるLLMの使用に関する新情報が得られ次第、この方針を定期的に改訂する。
これはLLMの使用を露骨に奨励しているわけではないが、まさにその入り口にあり、私見ではこれほど弱い方針は、記事の著者が不満を述べている問題に積極的に寄与している。私の意見では、「投稿のいかなる部分もLLMを使って生成することは許可されず、重大な倫理違反とみなされる」よりも弱い方針は正気ではない。人々はそのような方針は執行不可能だと言いたがるが、（最初は）それは本当に要点ではない。なぜなら（ある意味皮肉にも）p-hackingのように、検出がかなり難しくても広く非倫理的と認識されている他のものがあるからだ。我々はp-hackingも正確には解決していないが、少なくともほとんどの者はp-hackingを排除すべきだと同意できる。
ここで行間を読まずにはいられない。おそらく[…]
- mlmonkey
私見では（論文を書いたことはないが、大学院時代に多く読んだ）、Genieは瓶から出てしまった。私が見る限り、前進する唯一の方法は、レビューにもLLMを使うことだ。基本的に、提出されたすべての論文をLLMでフィルタリングし、要約させ、最大の弱点と主な強みなどを見つけさせ、人間がそれを使って論文をレビューする。つまり、LLM-as-a-reviewerだ。
個人的には、人々が明示的にLLMを使って研究と論文執筆を行うことが奨励され、LLMがそれらをレビューするためにも使われる会議を見てみたい。