Исследователи не заинтересованы в том, что их работы ошибочны

Хм... Автор начинает с цитаты C.Munger «Покажи мне стимул, и я покажу тебе результат», а затем выражает недовольство текущим результатом академических исследований. К сожалению, автор так и не возвращается к:

a) анализу текущих стимулов; и

b) предложению изменить их для лучшего результата;

Есть отличный пост в блоге [0], который sohl dickstein написал пару лет назад, о том, что происходит, когда оптимизируемая метрика является лишь прокси для того, что вы хотите максимизировать — в конечном итоге происходит «переобучение». Исходная метрика (которую мы не можем напрямую оптимизировать) на самом деле начинает ухудшаться.

Я считаю, что публикация статей и цитирования — это те самые прокси-метрики.

[0] https://sohl-dickstein.github.io/2022/11/06/strong-Goodhart....

Автор не приводит эмпирических доказательств в поддержку своих утверждений, ограничиваясь лишь анекдотическими свидетельствами. Их утверждение может быть верным, может быть более верным в некоторых местах/отделах/странах, чем в других, но я, честно говоря, согласен с автором... или я обеспокоен этой проблемой.

Также анекдотично: как рецензент, я слишком часто сталкиваюсь с халтурными, небрежными или даже, вероятно, мошенническими работами, и это меня раздражает, потому что рецензирование не бесплатно: авторы просят ученых потратить свое драгоценное время на понимание работы автора, и это работает только в рамках общественного договора... что авторы отправляют рукописи на рецензирование только после того, как они сделали все возможное, чтобы провести лучшую науку.

Мне неприятно это говорить, потому что я знаю, что в Китае есть великие ученые, но большинство рукописей, которые я получаю и отклоняю из-за небрежной работы, или умышленного пренебрежения цитированием наиболее непосредственно relevant литературы (часто потому, что эта литература сделала именно то, что они пытаются выдать за новое), или откровенного выдумывания, были рукописями из китайских университетов. Да, это случается и с западными авторами, но то, что я называю, реально и становится все более серьезным бременем для рецензирования как научного института. Настолько, что многие признавались мне, что откажутся быть рецензентами рукописи из Китая, если только она не из известной лаборатории с определенным статусом. В науке должна быть культура, мотивированная не количеством опубликованных статей или финансируемых грантов, но […]

Я думаю, каждый, кто приходит в академию, проходит через эту фазу разочарования. То, что вы так почитали как храм знаний, оказывается связанным с тем же родом человеческих дел, что и везде: мелкие склоки, маленькие клики, противостоящие друг другу, обиды, взаимные услуги, quid pro quo и т.д. и т.п.

Я думаю, как только вы с этим смиритесь, вы выходите на другую сторону, понимая, что это не что-то новое. Идеализированная версия никогда не существовала. Новое — это масштаб и все количественные метрики, касающиеся публикаций.

> Академические исследования должны были быть о прокладывании новых путей, соблюдении честности и хорошего научного поведения, ясности и открытости в отношении неопределенностей, ошибок и промахов, и улучшении нашего общего понимания науки, одновременно обучая новое поколение следовать этим целям и принципам.

Это наивный идеализм. Исследования требуют усилий, и кто-то должен платить. Иногда этот кто-то может заявлять, что хочет спонсировать только неограниченное объективное исследование, но у всех есть предвзятости, и в повторяющейся игре мягкие предпочтения тоже будут обыграны. Другими словами, всегда есть эффект «кто платит, тот и заказывает музыку».

Тот, кто платит, хочет результатов. Он хочет престижа через спонсируемый проект. Он не хочет, чтобы исследователь просто сидел в комнате и годами не давал результатов. Он хочет, чтобы у исследователя были прорывные результаты. Что именно они собой представляют, менее важно, чем то, чтобы они были впечатляющими и улучшали p […]