OpenAI stellt CSAM-Klassifikator kostenlos für Kinderschutzorganisationen bereit

OpenAI: Strengthening the fight against online child sexual abuse

OpenAI stellt CSAM-Klassifikator kostenlos für Kinderschutzorganisationen bereit

OpenAI veröffentlicht einen neuen Bildklassifikator, der potenzielles CSAM erkennt – auch KI-generiertes Material. Geprüfte Organisationen erhalten Zugang über die OpenAI API kostenlos. In Tests markierte das Tool 48 % weniger Bilder als bisherige Schutzmaßnahmen, während die Trefferquote auf Missbrauchsmaterial doppelt so hoch lag. Ergänzend führt ChatGPT Warnhinweise ein, die bei entsprechenden Anfragen die Konversation löschen und den Zugang für 24 Stunden sperren.

OpenAI hat in ChatGPT ein Best-Practice-Beispiel dafür geliefert, wie eine Plattform schädliches Online-Verhalten abschrecken und unterbrechen kann.
  1. maxgee

    Unser Konto wurde kürzlich von OpenAI wegen eines CSAM-Verstoßes gesperrt. Wir hatten einen autonomen Agenten, der einen Bildklassifikator verwendete und auf OpenAI umschaltete (statt auf ein lokales Modell, das er hätte nutzen sollen), der von Nutzern hochgeladene Inhalte klassifizierte. Nach der Klassifizierung von über 100.000 Bildern sperrte OpenAI unser Konto.

    Wir baten um weitere Informationen, damit wir den Uploader an das NCMEC melden und den Inhalt aus unseren Systemen entfernen konnten. Sie weigerten sich, uns irgendwelche Informationen zu diesem Vorfall zu geben, lehnten unseren Einspruch ab und haben bisher illegal unsere Datenschutzanfragen zu Daten über unser Konto verweigert.

    OpenAI kümmert sich nicht um die Bekämpfung von sexuellem Kindesmissbrauch, das ist reine Show.

    EDIT: Diese Bild-Uploads sind bis zu 20+ Jahre alt und werden über Cloudflare mit aktiviertem CSAM-Scanprodukt ausgeliefert. Wir haben keine Benachrichtigung über irgendwelche Probleme von Cloudflare erhalten. Etwas in OpenAIs System glaubt, dass ein Bild, das wir ihnen zur Klassifizierung geschickt haben, CSAM ist, und sie sind nicht bereit, das näher zu erläutern oder darüber zu kommunizieren. Als Referenz: unsere Website ist https://ytmnd.com

  2. gwd

    Also, ich habe daran gearbeitet, Claude dazu zu bringen, GPT-Bilder zu verwenden, um verschiedene Märchen zu illustrieren. Irgendwann gab es ein russisches, in dem ein Mädchen im Wald zurückgelassen wird, aber im ersten Entwurf sah sie friedlich und glücklich aus. Ich sagte Claude, dass ich das nicht realistisch fände, und es sagte, es hätte GPT-Bilder bereits gebeten, das Mädchen „verängstigt“ darzustellen, und es hätte 12 von 12 Mal abgelehnt. Es weigerte sich auch, Frost (der im Märchen ihr am Ende einen Mantel und eine Truhe voll Gold gibt) über sie stehen zu lassen; er musste auf ihrer Ebene sein, eine Armlänge entfernt. (Das Mädchen als „mutig“ und dann als „nervös“ darzustellen, hatte bessere Ergebnisse.)

    Das gab mir ein ziemlich komisches Gefühl, als ich unschuldig über die leere Form stolperte, die sie hatten herausschneiden müssen. Sie hätten sich nicht die Mühe gemacht, das zu tun, wenn es nicht ziemlich schlimm wäre.

  3. nolist_policy

    In diesem Zusammenhang: Openrouter führt jetzt auch CSAM-Scans und -Aufbewahrung auf sogenannten „Zero Data Retention“-Endpunkten durch.

    https://openrouter.ai/blog/announcements/csam-screening/

  4. Donald

    Es ist irgendwie verrückt, diese Strafanzeigen im Zusammenhang mit diesen NCMEC-Integrationen zu lesen. Der Kriminelle lädt ein Bild in seine E-Mail, seinen Fotospeicherdienst oder seinen Gen-KI-Dienst hoch, es wird als CSAM erkannt, automatisch wird eine Warnung an das NCMEC weitergeleitet, das NCMEC erstellt einen Hinweis an die örtliche Strafverfolgungsbehörde des Nutzers, und innerhalb kurzer Zeit, etwa ein oder zwei Wochen, wird er verhaftet.

  5. eutropia

    Das ist eine positive Entwicklung. Die Mitarbeiter des NCMEC mussten mit einem wahnsinnigen Anstieg von CSAM-Inhalten fertig werden (allein 2025 ein Anstieg von über 1.000 %), weil Diffusionsmodelle das Angebot an CSAM dramatisch vervielfacht haben.

    Wenn es einen aktiven und dringenden Fall gibt, in dem versucht wird, Kinder in diesen Situationen zu finden und zu retten, macht die Menge an KI-generierten Inhalten forensische Untersuchungen von Hintergrundmaterial noch viel schwieriger (oft werden Kinder, die missbraucht werden, anhand alltäglicher Gegenstände wie Steckdosen, Haushaltswaren usw. im Hintergrund von Missbrauchsfotos und -videos lokalisiert), weil sie jetzt ausschließen müssen, ob ein Bild überhaupt echt ist – eine Aufgabe, die oft große Aufmerksamkeit und genaue Prüfung von Details traumatisierender und verstörender Inhalte erfordert (manchmal noch traumatisierender aufgrund der ‚kreativen Freiheit‘ von KI-generiertem Material).

    Ein Modell, das Ermittler vor zusätzlichem Trauma schützen kann, ist eine hervorragende Sache.

  6. itake

    Meine Kollegen in Singapur haben ein Pornografie-Erkennungsmodell trainiert.

    Pornografie herunterzuladen oder zu speichern ist in Singapur illegal … ich frage mich, wie sie ein Modell ohne die Daten trainieren konnten.

  7. AmazingTurtle

    Erinnert mich an den Fall, in dem ein Typ Bilder von seinem Kind machte, um sie dem Arzt zu zeigen, und sein Google-Konto dauerhaft wegen CSAM gesperrt wurde (Google Photos war involviert).

  8. mrandish

    Ich schätze, es ist ein Zeichen der Zeit, dass mein erster reflexartiger Gedanke beim Anblick der Schlagzeile „Strengthening the fight against online child sexual abuse“ nicht positiv war. Stattdessen war es die abgeklärte Annahme, dass dies ein weiterer, vielleicht gut gemeinter Versuch sein würde, der wahrscheinlich entweder schiefgeht, die Privatsphäre und Arbeitsabläufe gesetzestreuer Nutzer weiter untergräbt oder weitgehend wirkungslos bleibt – und sehr wahrscheinlich alles drei.

  9. RIMR

    Diese Art von Sache ist immer eine Ausrede für die Schaffung von Überwachungswerkzeugen, die deine Dateien scannen und dich der Regierung melden. Es beginnt mit CSAM, weil sie wissen, dass du nicht gegen CSAM-Erkennung argumentieren willst, aber du solltest es unbedingt tun.

    Ich habe mit vielen nutzergenerierten Inhalten zu tun, und ich habe OpenAI als Werkzeug genutzt, um anstößige Inhalte zu finden. Jetzt sehe ich, dass OpenAI, falls CSAM jemals in eines meiner Systeme gelangt, die Behörden auf mich hetzen wird, wenn ihr Modell es ebenfalls sieht. Das ist ein Ausschlusskriterium für diesen Anwendungsfall, und es war ein großer!

    Es ist auch verrückt, dass sie versuchen, KI-generiertes CSAM zu erkennen und zu melden. Das hilft absolut nichts, um tatsächliche Kinder zu schützen.

  10. callc

    Ich bin neugierig, was die Leute hier denken, da digitale Technologie es einfacher macht, Anzeichen dafür zu erkennen, dass jemand eine Straftat begehen könnte.

    Ich denke darüber nach, wie es früher extrem unpraktisch war, den Großteil der Bevölkerung zu überwachen, und die Strafverfolgung erst nach der Tat kommt, und es keinen Druck gibt, sie vorher erkannt und gestoppt zu haben.

    Wie sollten sich Gesellschaft/Recht als Reaktion darauf ändern? Ist es reines Geben und Nehmen zwischen Überwachung/Recht-nicht-beobachtet-zu-werden und dem Versuch, alle schlechten Dinge zu verhindern, bevor sie passieren?

Mehr von diesem Tag

2026-11-16