LLMs bestrafen männliche Akteure bei identischem Fehlverhalten härter
Harsher on Male? Evaluating LLMs on Gender-Asymmetric Moral Framing in Conflicts
Ein Forschungsteam prüft mit GAMA-Bench, ob LLMs dasselbe negative Verhalten je nach Geschlecht der handelnden Person unterschiedlich bewerten. Der Benchmark umfasst 1.298 gespiegelte Szenarien aus Partnerschaft und öffentlichem Sozialkonflikt, die als Paare mit identischem Rollenbezug formuliert sind. Bei zehn repräsentativen Modellen zeigt sich durchgängig eine Benachteiligung männlicher Akteure: Sie erhalten strafendere, eskalierendere und schuldzuweisende Antworten, weibliche Akteure dagegen therapeutische und empathischere Rahmung. Das Muster hält über Modellfamilien, Szenariotypen, Modellgröße und explizites Reasoning hinweg an.
Männliche Akteure erhalten bei demselben Fehlverhalten eine strafendere, eskalierendere und stärker auf Schuld fokussierte Rahmung, während weibliche Akteure eine therapeutischere und empathieorientiertere Rahmung bekommen.
- notenchange
Im Ernst, hat irgendjemand, der weiß, wie LLMs trainiert werden, etwas anderes erwartet?
LLMs sind ein Spiegel ihrer Trainingsdaten, und ihre Trainingsdaten spiegeln größtenteils die aktuellen gesellschaftlichen Normen wider, mit einer Verzerrung (ich bin mir nicht sicher, wie stark) hin zu den gesellschaftlichen Normen, die von den an der LLM-Trainingsbeteiligten unterstützt werden.
Was für mich interessant zu sehen ist, ist, dass chinesische Modelle genauso voreingenommen sind – wenn nicht sogar mehr – als ChatGPT. Das liegt wahrscheinlich daran, dass ein großer Teil ihres Trainings aus der Destillation von US-Modellen stammt.
Es wäre interessant, auch Anthropic, Mistral und Grok im Vergleich zu sehen.
- zdc1
Ich wäre neugierig, wie die Verzerrung im Kontext positiver Situationen aussieht. Ist die Verzerrung die, dass LLMs Männer für jede Situation direkter zur Verantwortung ziehen und somit negative Ergebnisse stärker bestrafen und positive stärker loben? Oder ist diese Verzerrung nur in negativen Situationen beobachtbar?
Um es klarzustellen: Es ist so oder so schlecht, da Frauen als mit demselben Maß an Handlungsfähigkeit und Verantwortlichkeit wie Männer ausgestattet gesehen werden sollten, aber ich bin trotzdem neugierig...
- knighthack
Das war eines der ersten Dinge, die mir bei der Nutzung von LLMs aufgefallen sind. Ich weiß nicht, welches Training oder welche 'Ausrichtung' bevorzugt wird, aber offensichtlich wurde eine männerfeindliche statt einer neutralen Ausrichtung verwendet.
Man kann alle möglichen misandrischen Aussagen und Aussagen, dass Männer Müll sind, machen, mit minimalem oder keinem Widerspruch vom LLM. Aber bei einer einzigen frauenfeindlichen Aussage würde sich das LLM schnell gegen einen wenden.
Chinesische LLMs scheinen im Vergleich zu westlichen viel weniger voreingenommen und neutraler/gleichheitsorientierter zu sein.
- stephbook
Gab es nicht kürzlich einen Artikel auf HN über Verzerrungen bei Rasse, Geschlecht, Alter und Nationalität in LLMs? Ich glaube, ich habe ihn gelesen, bevor er geflaggt wurde.
Die Ergebnisse waren ähnlich.
- zug_zug
Ich habe eine ähnliche Mikrostudie dazu durchgeführt: https://think-twice.me/is-ai-biased-or-sexist-making-chatgpt...