Искусственный интеллект пишет рецензии: под угрозой репутация журналов и доверие авторов
Can Peer Review Survive AI-Generated Text? [pdf]
Экономисты Dario Caldara и Jesús Fernández-Villaverde утверждают, что LLM уже наводнили рецензирование: они получали почти полностью сгенерированные отзывы даже из ведущих журналов. В эксперименте с 25 реальными рецензиями Nature Communications детектор Pangram отнёс тексты, созданные ИИ с нуля, к почти полностью машинным, а прошедшие лишь вычитку — к человеческим. Авторы предлагают сделать детекторы стандартным инструментом и приравнять AI-рецензии к плагиату.
Настоящая проблема не в том, что статьи и отзывы были сгенерированы ИИ, а в том, что за ними не стояло никакой мыслительной работы, и это было видно.
- marginalia_nu
Справедливости ради, модель рецензирования начала разваливаться задолго до того, как появились тексты, сгенерированные ИИ, — в основном из-за эксплуататорской природы академических журналов, порождающей стимулы, не согласующиеся с производством хорошей науки.
Рецензентам не платят, и у них нет ни малейшего стимула делать работу хорошо. Во многих случаях можно просто снова и снова отправлять статью в разные журналы, пока она не попадёт к рецензенту, которому лень её читать, — и тогда её штампуют без разбора. В результате снова и снова через рецензирование проходит на редкость халтурная, а зачастую и откровенно мошенническая наука.
- patrickmay
Аннотация для тех, кому не хочется читать TFA:
«Большие языковые модели теперь пишут статьи и рецензии в экономике. Область должна выработать лучшие практики обращения с текстами, сгенерированными ИИ, в процессе публикации. Иначе рецензирование рискует серьёзно рухнуть. Мы предлагаем сделать детекторы ИИ стандартным инструментом профессии. Наш эксперимент показывает, что они помечают рецензии, написанные ИИ, но не те, где ИИ лишь вычитывал или помогал редактировать.
Опираясь на простую модель, мы утверждаем, что статья, помеченная как сгенерированная ИИ, должна вызывать более внимательное прочтение и может быть отклонена при первой же ошибке, а рецензия, сгенерированная ИИ, не добавляет ничего, чего редакторы не могли бы получить, запустив промпт сами. Такие рецензии неприемлемы: они вредят авторам и журналам и должны рассматриваться как плагиат. Индивидуальная сдержанность уже показала свои пределы, и профессии нужно выработать нормы, чтобы решить эту проблему коллективного действия. В заключение мы приводим практическое руководство для авторов, рецензентов и редакторов».
- FabCH
Я время от времени рецензирую.
Рецензирование умирает уже давно.
ИМХО, решение было простым до ИИ и остаётся простым с ИИ:
двойное слепое рецензирование, но после процесса подачи и статья, и рецензии становятся публичными с полным указанием авторства.
- astro1234
Я выскажу точку зрения, которую исторически эта публика в подавляющем большинстве отвергала:
Рецензирование перестанет иметь значение примерно через 2 года, и нам будет казаться глупым, что мы вообще задавались этими вопросами.
Несмотря на то, что снова и снова доказывается, что тренды производительности невероятно стабильны и, если уж на то пошло, слегка ускоряются, что законы масштабирования предобучения и их аналоги для постобучения достаточно надёжны, чтобы это было математически бесспорным, столь же надёжно и то, что эти явно точные прогнозы настолько невероятны, что люди, похоже, всё ещё не готовы это принять. Это предложение было верным и могло быть сказано в любой момент за последние 4-5 лет (и оно говорилось, много раз).
Сценарий AI 2027, каким бы смешным он ни был при публикации, тревожно не так уж далёк от того, где мы сегодня. Как сообщает Dwarkesh из своих разговоров с исследователями Anthropic и других лабораторий, мы на пути к решению RSI где-то в 2027 году (опять же, относительно простая вещь для прогнозирования, если немного знать о трендах производительности и о том, как измеряется производительность моделей).
Мир не схлопнется, как умирающая звезда, и я ожидаю, что опыт будет более или менее таким, какой мы переживаем сегодня, хотя некоторые возможности будут улучшаться гораздо быстрее, и поскольку есть неизбежные узкие места, которые ИИ не сможет обойти никогда, а некоторые потребуют лет, чтобы понять, как их разрушить. Но «ой, нет, у нас нет людей для рецензирования» […]
- imeanwhatdoikno
Я не в академии, так что следующее может быть наивным, но неправдоподобно, что мы вернёмся ко временам до того, как LLM писали и рецензировали статьи. Объём вывода LLM также вряд ли когда-либо уменьшится (и, насколько я понимаю, количество написанных статей ещё до эпохи LLM уже перегружало систему). Итак:
1. Статьи могли бы публиковаться самостоятельно в вебе (Arxiv или Github или где-то ещё).
2a. Статьи могли бы анонсироваться/рекламироваться в первую очередь неформальными средствами (X и другие соцсети, сарафанное радио и т.д.)
2b. Кроме того, могли бы быть формальные периодические анонсы от академических учреждений или отраслевых организаций, к которым принадлежат авторы. Например, университет мог бы публиковать список топ-10 (для вашего предпочтительного значения 10) статей от каждого факультета, отобранных этим факультетом. Включение статьи в эти списки «топ-10» не обязательно означало бы, что статья прошла какое-либо рецензирование. Это просто сигнализировало бы, что эту статью, возможно, стоит проверить.
3. Назначение журналов/редакторов могло бы сместиться от рецензирования/публикации статей к агрегированию всех этих неформальных анонсов, а также всех списков «топ-10», чтобы выявлять самые интересные/многообещающие новые статьи в соответствующих областях, с их URL. Тогда уже членам сообщества, интересующимся этими темами, решать, проверять ли эти статьи или нет.