LLM 对男性更苛刻?性别道德偏见调查
Harsher on Male? Evaluating LLMs on Gender-Asymmetric Moral Framing in Conflicts
现有研究多关注 LLM 的刻板印象,但这项新研究深入探讨了模型在面对相同负面行为时,是否因性别不同而采用双重标准。研究团队构建了包含 1298 个场景的 GAMA-Bench 基准,涵盖亲密关系与公共冲突,对 10 款主流 LLM 进行了测试。结果令人深思:面对同样的不当行为,男性角色往往被分配更多惩罚性、升级性和指责性的回应框架,而女性角色则更容易获得治疗性和共情导向的回应。这种“男性劣势”的不对称模式在不同模型架构、规模及推理模式下均普遍存在,揭示了 AI 道德判断中深藏的性别偏见。
实验揭示了持续存在的男性劣势不对称性:对于同样的不当行为,男性角色会收到更具惩罚性、升级性和指责性的框架,而女性角色则会收到更具治疗性和共情导向的框架。
HN 评论区
77- notenchange
说真的,任何了解 LLM 如何训练的人难道会期待别的结果吗?
LLM 是其训练数据的反映,而这些训练数据主要反映了当下的社会规范,并且(我不确定程度有多深)带有偏向于参与训练 LLM 的那些人所支持的社会规范的偏见。
我觉得有趣的是,中国模型和 ChatGPT 一样有偏见——甚至可能更严重。这可能是因为它们很大一部分训练数据来自对美国模型的蒸馏。
如果能将 Anthropic、Mistral 和 Grok 也纳入对比,那就更有意思了。
- zdc1
我很好奇在正面情境下这种偏见会是什么样子。这种偏见是否意味着 LLM 会让男性对任何情况承担更直接的责任,从而对负面结果惩罚更重,对正面结果表扬也更多?还是说这种偏见只在负面情境下才可见?
说清楚一点:无论哪种情况都不好,因为女性应该被视为拥有与男性同等的行动力和责任感,但我仍然对此感到好奇……
- stephbook
HN 上最近是不是有一篇关于 LLM 中种族、性别、年龄和国籍偏见的文章?我想我在它被标记之前读过。
结果很相似。
- zug_zug
我也做过类似的微型研究:https://think-twice.me/is-ai-biased-or-sexist-making-chatgpt...
- knighthack
这是我使用 LLM 时最早注意到的事情之一。我不知道什么样的训练或“对齐”是首选的,但很明显,使用的是一种反男性而非中立的对齐方式。
你可以发表各种厌女言论或“男人是垃圾”的言论,LLM 几乎不会或根本不会反驳。但只要说一句厌女言论,LLM 就会迅速反对你。
与西方模型相比,中国 LLM 似乎偏见更少,更中立,更以平等为导向。