Почему текст от AI так трудно читать: модели жертвуют ясностью ради плотности информации
Why is AI generated language so hard to understand?
Исследователи проанализировали психолингвистические признаки, связанные с трудностями восприятия, и выяснили: все девять передовых и близких к передовым моделей чаще людей используют неодушевлённые подлежащие с одушевлёнными глаголами и редкие n-граммы, а большинство — ещё и длинные синтаксические зависимости, нагромождения существительных и редуцированные объектные относительные придаточные. Авторы объясняют это тем, что язык человека оптимизирован под успешную коммуникацию, а текст LLM — под математику, код и рассуждения, где важнее плотность информации. Гипотезу подтвердили, дообучив модель со штрафом за длину.
Язык человека оптимизирован под успешную коммуникацию, а текст, порождаемый AI, всё больше оптимизируется под другие цели — математику, код и рассуждения, где давление идёт в сторону плотности информации, а не успешной коммуникации.
- dividefuel
Как технический писатель, я считаю, что ответы ИИ по умолчанию оптимизированы под то, что люди _думают_ является хорошим письмом, а не под то, что на самом деле хорошо.
Моё предположение: годы RLHF оптимизировались под первое впечатление оценщиков о том, насколько хорошо что-то написано. Используются списки! Есть заголовки! Есть забавные фразы вроде «smoking gun»! Это длинно и информативно! Всё это относительно быстро и легко распознать и выбрать в качестве предпочтения.
Но ничего из этого не говорит о том, _полезен ли ответ для аудитории_. Если вы не аудитория, бывает трудно понять, что полезно, а что нет.
- cryzinger
Одна конструкция, которую, я удивлён, статья не упоминает (хотя, честно говоря, уверен, у них было из чего выбирать... и где-то надо провести черту :P), — это то, что LLM обожают использовать переходные глаголы непереходно[0], так, как я почти никогда не встречаю в человеческом письме. В лучшем случае это делает предложения странно двусмысленными, в худшем — почти непостижимыми, и это особенно раздражает в технических контекстах, где точный язык должен быть обязательным. Да, я могу сделать обоснованное предположение о том, что оно пытается сказать, но если ваша так называемая документация требует от читателей/пользователей делать обоснованные предположения, значит, что-то пошло совсем не так.
[0] Примерно так:
«Пользователь нажимает кнопку, и форма submits.»
Существуют допустимые непереходные употребления «submit», но ни одно не имеет смысла в этом контексте. В данном случае «submit» либо требует дополнения (например, «the form submits data» — плюс, возможно, косвенное дополнение, вроде «the form submits data to the server»), либо его следует заменить на «the form is submitted», если вы категорически не хотите указывать дополнение.
- lukev
LLM показывают нам, что многое из того, что мы считаем познанием, на самом деле является частью сложной символьной системы, которой является Язык, а не свойством «разума» (биологически или искусственно воплощённого).
Текст, сгенерированный LLM, трудно понять, потому что, хотя это вполне хороший язык, следующий допустимым когнитивным и информационным паттернам, он не отражает намерения или ментальной модели другого разума.
- anigbrowl
Учтите также, что корпуса для обучения ИИ включают огромные объёмы коммерческой речи, предназначенной для усыпления критических способностей и побуждения к действию; равным образом они включают множество публицистических статей, которые предназначены убеждать и часто используют риторические уловки — цинично или как отражение несовершенного мыслительного процесса автора.
- orbital-decay
Как обычно, большинство комментаторов отвечают на заголовки, поэтому я процитирую их выводы.
>Мы рассматриваем эти результаты как доказательство концепции того, что штраф за длину, используемый во время обучения с подкреплением с GRPO, может напрямую влиять на грамматические особенности. Мы отмечаем, что модель не получала прямых указаний использовать сжатый или плотный язык и не получала напрямую информации о доступности синтаксических альтернаций. Скорее, штраф привёл к возникновению предпочтения более коротких членов синтаксических альтернаций. [...] Мы предполагаем, что использование проверяемых наград создаёт среду, в которой правильность отделена от человекоподобной коммуникации, что приводит модели к сходимости к новому, потенциально менее понятному распределению языкового употребления.
Это звучит как здравый смысл для любого, кто возился с моделями и обучением, однако кто-то всё равно должен это количественно оценить, так что хорошо, что они это сделали. Я также хочу отметить, что это заметно только в регистре Claude по умолчанию; он всё ещё способен писать иначе, если задать подсказку.
- noosphr
У сгенерированного ИИ текста нет человеческой лежащей в основе модели физической реальности, и его метафоры в результате изувечены.
Если бы у нас были говорящие многоножки, результаты, вероятно, были бы похожи, но по другим причинам.
- lxe
https://gist.github.com/lxe/4cd2ca0fd3b714b25f138227c8c650d3
Я дорабатывал этот промпт для ясности письма. Термин, который мы придумали, — «Асиндетонический паратаксис с референциальным эллипсисом и повторяющимся риторическим завершением». Он не полностью описывает точную проблему, которая у меня есть с современным письмом ИИ, но близок к этому.
- bassie123
Потому что ИИ оптимизировали не для человеческого чтения, а для максимального количества информации в минимальном объёме контекста или токенов.
(например, «baseline system state transition latency validation» вместо того, чтобы развернуть это с предлогами: «validating the latency of state transitions in the baseline system»).
Лично я вообще не могу читать книги, потому что забываю, что было сказано двумя абзацами ранее. Держу пари, что у людей, хорошо умеющих быстро просматривать текст, меньше проблем с текстом, сгенерированным ИИ.