提问方式决定待遇：LLM 中的性别语言偏见
It's How You Ask: Gender-Associated Linguistic Bias in LLMs
当专业沟通越来越多地依赖 LLM 时，这些模型真的对所有用户一视同仁吗？研究发现，当提示词包含女性更常使用的语言特征（如模糊限制语、附加疑问句、集体代词）时，LLM 会系统性地给出更短、更不专业且更不正式的回复。这种偏见在四种模型和三种文档类型中均稳定存在，且无法通过控制提示词复杂度来消除。更令人担忧的是，这种语言风格的影响远大于显性的性别线索（如签名名），且由于这些模式深植于文化习惯中，用户很难通过刻意调整表达来规避。研究指出，这些语言特征在 Transformer 的早期层就被编码并与其他特征纠缠，使得事后补救异常困难。这呼吁我们在模型训练的上游阶段，就必须重视语言变异带来的不平等影响。
因为这些模式深植于文化之中且不受意识控制，用户无法通过策略性的自我展示轻松规避它们。
HN 评论区
10- kierangill
很高兴看到这一研究领域受到关注。虽然论文里没提到，但有一篇相关的文章值得一读：《媒介即讯息：非临床信息如何影响 LLM 中的临床决策》[0]。
> 通过对患者消息进行扰动，我们评估当非临床信息被改变时，LLM 的行为是否依然保持一致、准确且无偏见。[…] 我们的研究结果显示，LLM 的治疗建议存在显著的不一致性，临床准确率也出现了严重下降，导致患者获得的医疗资源分配减少。[…] 我们的扰动模拟了现实中的患者消息，这些消息可能源于电子格式错误，或代表了广泛采用患者-AI 系统后可能受影响的群体（女性患者、非二元性别患者或使用中性代词的患者、有健康焦虑的患者、性格更戏剧化的患者、技术能力较弱的患者、英语能力有限的患者等）。
我们都在透过万亿参数模型的万花筒窥视世界。因此，输入端的微小扰动（语法、语言熟练度、文化规范）导致结果不同，这并不令人意外，尽管意图并未改变。生成垃圾代码是一回事，生成垃圾医疗建议则是另一回事。
- cheschire
我好奇的是，浪漫小说在现代小说中占据如此大的比例，是否对此产生过影响？训练数据的比例肯定会在某种程度上影响模型表现，对吧？
https://shelflovepodcast.substack.com/p/actually-romance-nov...
- fwipsy
这似乎是一个更广泛模式的一部分，并非仅针对性别。据我的经验，LLM 会根据推断出的用户理解水平来调整回答的复杂程度。像 hedging（模糊限制语）和 tag questions（附加疑问句）这样的语言习惯，似乎既出现在“女性说话的方式”中（至少根据这篇论文），也出现在“对某个话题不确定的人说话的方式”中。
> 用户无法通过策略性的自我展示轻松避免这些问题
用不同于和人类交谈的方式向 LLM 提问，看起来其实并不难。我已经在这么做了（例如，在单独的聊天中问基础问题，这样在主要会话中我会显得更聪明，从而获得更好的回答。）
免责声明：我只读了摘要，如果我理解错了重点，请随时指出。