LLMは同じ違反でも男性には厳しく、女性には甘い
Harsher on Male? Evaluating LLMs on Gender-Asymmetric Moral Framing in Conflicts
既存の性別バイアス研究はステレオタイプや職業連想、明示的な有害出力に偏ってきた。本研究は、同一のネガティブな行為を男性役と女性役で入れ替えたとき、LLMが一貫した基準で応答するかを問う。親密な関係と公共の社会的対立を網羅する1,298シナリオの性別ミラーベンチマークGAMA-Benchを構築し、罰、共感、エスカレーション、指導、非難の配分を構造化プロトコルで測定。10の代表的なLLMで、男性役にはより懲罰的・エスカレーション的・非難中心のフレーミング、女性役にはより治療的・共感的なフレーミングを与える一貫した非対称性を確認した。この傾向はモデル系列、シナリオ種別、モデル規模、明示的な思考型推論を超えて持続する。
男性役にはより懲罰的でエスカレーション的、非難中心のフレーミングが与えられる一方、女性役には同じ違反に対してより治療的で共感志向のフレーミングが与えられる。
HNでの議論
77- notenchange
正直なところ、LLMのトレーニング方法を知っている人なら、違う結果を予想しただろうか?
LLMはトレーニングデータの反映であり、そのトレーニングデータは主に現在の社会規範を反映している。ただし、LLMのトレーニングに関わる人々が支持する社会規範に偏っている(どの程度かはわからないが)。
私にとって興味深いのは、中国のモデルがChatGPTと同じくらい、いやそれ以上に偏っていることだ。これはおそらく、トレーニングの大部分が米国モデルの蒸留に由来しているためだろう。
Anthropic、Mistral、Grokも比較に加えると面白いだろう。
- zdc1
ポジティブな状況の文脈で、このバイアスがどう見えるかに興味がある。LLMが持つバイアスは、男性をあらゆる状況でより直接的に責任があると見なし、それゆえにネガティブな結果をより強く罰し、ポジティブな結果をより強く称賛するということなのか?それとも、このバイアスはネガティブな状況でのみ観察されるものなのか?
はっきり言っておくと、どちらにせよ悪いことだ。女性も男性と同じレベルの主体性と説明責任を持つと見なされるべきだからだ。それでも、興味は尽きない…
- knighthack
これはLLMを使っていて最初に気づいたことの一つだ。どのようなトレーニングや「アラインメント」が好ましいのかは知らないが、明らかに中立的なアラインメントではなく、反男性のアラインメントが使われていた。
あらゆる種類のミサンドリー(男性嫌悪)的な発言や「男はクズだ」という発言をしても、LLMからの反発は最小限か皆無だ。しかし、たった一つのミソジニー(女性嫌悪)的な発言をすれば、LLMはすぐにあなたに敵対する。
中国のLLMは、西洋のものに比べてはるかにバイアスが少なく、より中立で平等志向のようだ。
- stephbook
最近、LLMにおける人種、性別、年齢、国籍のバイアスに関する記事がHNに上がっていなかったか?フラグが立つ前に読んだ気がする。
結果は似たようなものだった。
- zug_zug
これについて似たようなミクロ研究をした:https://think-twice.me/is-ai-biased-or-sexist-making-chatgpt...