「学術界はd-indexの測定競争」—新しいk-indexが問いかけるもの
Academia as a d-index measuring contest
社会科学者は「定量化の罠」に陥っている。大学管理者は研究の質ではなく、論文数や被引用数で評価する。Google Scholarのh-indexは共著者数を考慮せず、分野間の比較も不公平だ。そんな中、Research.comが分野別のD-indexを発表した。著者はこれに触発され、多様な研究成果を評価する独自の指標「k-index」を考案。単著論文の被引用、方法論の貢献、最近の活動などを組み合わせ、ゲーム化を防ぐ設計だ。OpenAlexのデータを用いて政治学者36,000人以上をランク付けし、学術界の評価方法に一石を投じる。
「指標が高価で、独占的で、希少であれば（ClarivateのImpact Factor）、それは容易に正当化される。一方、無料で普及している指標（Google Scholar）は、容易に自然化され、測定と複雑な現実のギャップについて人々が考えなくなる。」
- stafford_beer
https://kevinmunger.substack.com/p/a-confession-i-p-hacked-t...
著者自身です。フォローアップの投稿が要点を説明しています...これは存在証明です。つまり、私を1位にする指標が存在するという証明です...それは私たちがその指標を気にかけなければならないという意味ではありませんが、どんな指標も「本物」と当然視すべきではないということを意味しています。
- jll29
記事からリンクされている「research.com」について：これは奇妙です。いくつかランダムな観察を述べます...
• 存命の最も傑出したコンピュータ科学者であるドナルド・E・クヌースが、コンピュータ科学部門で92位（！）— 約2桁ずれているように思えます。
• 存命の最も引用されている学者（アリストテレス級）と言う人もいるノーム・A・チョムスキーが、米国で7位。彼は理論計算機科学にチョムスキー階層とチョムスキー標準形を与え、「現代言語学の父」と呼ばれてきました（ヘブライ語の形態論、生成文法、能力と遂行の区別、普遍文法、原理とパラメータ理論、スキナーの書評（単独で行動主義を壊滅させた）、ミニマリスト・プログラムなど）。政治学では、彼は長年にわたり、おそらく最も熱心で声高な米国外交政策の批判者であり、自身がユダヤ人であるにもかかわらずパレスチナを支持しています。コミュニケーション学やメディア研究では、（ハーマンとの共著）『製造される同意』は分野を定義する古典です。 - https://research.com/u/noam-chomsky
• 大学ランキングに関して、ドイツでは、KIT（カールスルーエ工科大学）が完全に欠落しているように見えます。CS研究のトップクラスの機関なのに。
- vinaigrette
興味深い記事と方法論ですね。ランキングの特徴を操作して、ランキングがどう変化するか試せるといいのにと思います。
ケビン・マンガーについては知りませんでした。彼の分野と出版物から見て、なぜスコアの25%を方法論の引用に重み付けしたのかは確かに理解できます。それが彼の指標が非常に欠陥がある理由の一部でもあります。質的研究は文脈に非常に依存するため、押しつぶされてしまうからです。もしかすると、定量的な方向性を持つ分野（STEMや社会科学）の間のギャップを埋めるかもしれません。しかし、人文科学はどこにもいないでしょう。
そもそもランキングとは何かという疑問が生じます...学部長は統計を最大化すること（statsmaxx）をよく知っているはずです（その皮肉に注意）。