論文が間違っていても、昇進と名声を得たらそれでいいのか

うーん…著者はC.マンガーの引用「インセンティブを見せてくれれば、結果を見せてやろう」から始めて、その後に現在の学術研究の成果に対する不満を述べている。残念ながら、著者は次の点に立ち返ることがない。

a) 現在のインセンティブの分析、そして

b) より良い成果のためにそれらを変える提案。

数年前にsohl dicksteinが書いた素晴らしいブログ記事[0]がある。最適化している指標が、最大化したいものの代理にすぎないときに何が起こるかについてで、最終的に起こるのは「過学習」だ。元々の指標（直接最適化できないもの）は実際に悪化し始める。

論文の出版と被引用数は、まさにその代理指標だと思う。

[0] https://sohl-dickstein.github.io/2022/11/06/strong-Goodhart....

著者は自らの主張を裏付ける実証的証拠を何も提示しておらず、逸話的な証拠のみを挙げている。その主張は真実かもしれないし、場所や学部や国によってはより真実かもしれないが、私自身は著者に同意する…あるいはこの問題を懸念している。

また逸話的だが、査読者として、いい加減で不注意な、あるいはおそらく不正な行為の論文にあまりにも頻繁に遭遇し、それが私を苛立たせる。なぜなら査読はコストなしでは済まないからだ。著者たちは科学者に貴重な時間を費やして自分の研究を理解するよう求めている。それが機能するのは社会的契約のもとだけだ…著者は最善の科学を行おうと最善を尽くした後にのみ、原稿を査読に回すという契約だ。

言いたくはないが、中国には素晴らしい科学者がいることを知っている。しかし、私が受け取り、ずさんな仕事、あるいは原稿に最も直接関連する文献の引用における意図的な怠慢（多くの場合、その文献がまさに彼らが新規であるかのように通そうとしていることを既にやっていたからだ）、または完全にでっち上げのために拒否する原稿のほとんどは、中国の大学からのものだ。もちろん西洋の著者からも起こるが、私が名指ししているのは現実であり、科学機関としての査読に対する主要な負担になりつつある。あまりにもそうなので、多くの人が、一定の地位にある既知の研究室からのものでない限り、中国からの原稿の査読者を拒否すると私に打ち明けている。科学においては、出版論文数や獲得資金によって動機づけられるのではなく、[…]

学界に入る人は皆、この幻滅の段階を経験すると思う。知識の殿堂としてそれほど崇拝していたものが、どこにでもあるのと同じ種類の人間的な営み、つまり些細な争い、互いに対立する小さな派閥、恨み、お世辞、give-and-takeなどを含んでいることが分かる。

これを受け入れるようになると、反対側に出て、これは何も新しいことではないと気づく。理想化されたバージョンは決して存在しなかった。新しいのは規模と、出版に関するあらゆる定量的指標だ。

> 学術研究は、新境地を開拓し、誠実さと良い科学的行为を守り、不確実性や誤りや間違いについて明確かつ率直にし、科学に対する共通理解を深め、その間ずっと新世代をこれらの目標と原則に従うよう訓練することであるべきだった。

これはナイーブな理想主義だ。研究には努力が必要で、誰かが払わなければならない。時にはその誰かが、無制限の客観的探究にのみ資金を提供したいという信念を公言することもあるが、誰にでもバイアスがあり、繰り返しゲームではソフトな選好もゲーム化される。言い換えれば、常に「支払う者が歌を命じる」という効果がある。

支払う者は結果を望む。スポンサーしたプロジェクトを通じて名声を望む。研究者がただ部屋に座って何年も結果を出せないでいることを望まない。研究者に画期的な結果を望む。それが何であるかは、印象的でpを改善するものであることよりも重要ではない[…]