LLM судят мужчин строже: за одинаковый проступок модели карают их жёстче, чем женщин

Harsher on Male? Evaluating LLMs on Gender-Asymmetric Moral Framing in Conflicts

Авторы работы задались вопросом, применяют ли LLM одинаковые стандарты к одному и тому же негативному поведению, если меняется только пол действующего лица. Для этого они собрали GAMA-Bench — зеркальный бенчмарк из 1298 сценариев конфликтов в близких отношениях и публичной жизни, где пары промптов отличаются лишь полом и ролью. Тестирование 10 моделей выявило устойчивую асимметрию: мужчинам достаются наказание, эскалация и обвинения, женщинам — эмпатия и терапевтический тон. Эффект сохраняется у разных семейств моделей, масштабов и при явном рассуждении.

Мужчины получают более карательные, эскалационные и обвинительные формулировки, тогда как женщины при том же проступке — более терапевтическую и эмпатичную подачу.
  1. notenchange

    Честно говоря, кто-то, кто знает, как обучают LLM, ожидал иного?

    LLM — это отражение их обучающих данных, а обучающие данные в основном отражают текущие общественные нормы, с уклоном (не уверен, насколько сильным) в сторону общественных норм, поддерживаемых теми, кто участвует в обучении LLM.

    Мне интересно видеть, что китайские модели так же предвзяты — если не больше — чем ChatGPT. Вероятно, это потому, что большая часть их обучения происходит из дистилляции американских моделей.

    Было бы интересно увидеть в сравнении также Anthropic, Mistral и Grok.

  2. zdc1

    Мне было бы любопытно, как выглядит предвзятость в контексте позитивных ситуаций. Состоит ли предвзятость в том, что LLM считают мужчин более непосредственно ответственными за любую ситуацию и, таким образом, сильнее наказывают за негативные и сильнее хвалят за позитивные исходы? Или эта предвзятость наблюдается только в негативных ситуациях?

    Чтобы было ясно: это плохо в любом случае, поскольку женщины должны рассматриваться как обладающие теми же уровнями агентности и ответственности, что и мужчины, но мне всё же любопытно...

  3. knighthack

    Это было одно из первых, что я заметил при использовании LLM. Не знаю, какое обучение или «выравнивание» предпочтительнее, но явно использовалось не нейтральное выравнивание, а антимужское.

    Можно делать всевозможные мизогинистские заявления и утверждения, что мужчины — отбросы, с минимальным или нулевым сопротивлением со стороны LLM. Но стоит сделать одно мизогинистское заявление, и LLM быстро ополчится против вас.

    Китайские LLM, похоже, гораздо менее предвзяты и более нейтральны/ориентированы на равенство по сравнению с западными.

  4. stephbook

    Разве недавно на HN не было статьи о расовой, гендерной, возрастной и национальной предвзятости в LLM? Кажется, я читал её до того, как её зафлагили.

    Результаты были похожими.

  5. zug_zug

    Я провёл аналогичное микроисследование на эту тему: https://think-twice.me/is-ai-biased-or-sexist-making-chatgpt...

Ещё за этот день

2026-11-22