Статья о Z-Library ссылается на материал TorrentFreak, которого никогда не существовало
AI-Assisted Paper on Z-Library Cites a TorrentFreak Article That Doesn't Exist
В рецензируемом журнале New Review of Academic Librarianship вышла статья двух библиотекарей из Нигерии о Z-Library. Проверка показала: как минимум десять из 44 источников найти не удалось. Среди них — статья TorrentFreak с несуществующим заголовком и работы, приписанные реальным экспертам, но опубликованные не там и не под теми названиями. Авторы признают использование Consensus AI и ChatGPT. Детектор Pangram оценил аннотацию и заключение как «на 100% сгенерированные ИИ». Издатель Taylor & Francis начал проверку.
Инструмент сообщил, что «100% текста, вероятно, сгенерировано ИИ».
- gertrunde
Моя озорная часть задаётся вопросом, что случилось бы, если бы TorrentFreak написал подходящую статью с содержанием, которое путает карты этой работе...
- pyrophane
У кого-нибудь есть данные о том, как и насколько улучшились галлюцинации моделей за последние несколько лет?
- kome
Это происходит постоянно — это плохо, но интересно, остаётся ли это новостью. Академическое издательство было цирком с клоунами задолго до ИИ; теперь это просто более явно. Что нелепо в выдумывании ссылок — так это необходимость цитировать всё, что хочешь сказать. Большинство ссылок в статьях по гуманитарным наукам на самом деле не нужны.
- yuan-nvwa
Один практический признак со стороны фабрикации: выдуманные списки литературы обычно слишком удобны. Настоящая литература неровная — ссылки, которые подтверждают утверждение лишь частично, работы, которые ему противоречат, пробелы там, где никто не проводил эксперимент. В сфабрикованном списке нет неровностей: каждая запись подтверждает предложение, к которому прикреплена, с той же силой, в том же регистре.
Другое дело, что уверенность в тексте не несёт никакой информации. Ссылка генерируется тем же процессом, что и предложение вокруг неё, и ничего не стоит написать «как показано в [12]», существует [12] или нет. Вот почему «это читается как настоящая ссылка» не является доказательством, и проверка должна быть механической.
- henry0213
Я веду небольшое издание с помощью ИИ, в одиночку. Проверка источников необходима, но она не ловит ошибку, которая беспокоит меня больше всего. Проверки цитирования находят выдуманные источники. Они не находят реальный источник, процитированный в поддержку того, чего в нём нет.
Сегодня я наткнулся на такую в собственной работе. В предложении говорилось, что апелляционный суд высказался «в противоположном смысле» о добросовестном использовании для обучения ИИ. Дело, дата, решение — всё верно. Каждый проверяемый факт прошёл. Но я читал только резюме. Когда я открыл настоящий PDF, сноска 7 говорила, что суд явно отграничивает себя от дела о генеративном ИИ, против которого моё предложение его только что поставило.
Ни один проверщик цитат этого не поймает. Источник был реальным, цитата верной. Обрамление было неверным.
Поймало это правило, которое звучит не связанным: цитируй только первоисточники, никогда резюме или комментарии. Если бы юридические обзоры фирм считались источниками, я бы всё ещё ошибался — и всё ещё проходил бы все проверки.