Pangram AI-Erkennung: Wie ein 5.000-Wörter-Essay als 100% menschlich und ein 300-Wörter-Abschnitt daraus als 100% KI geschrieben eingestuft wird
I wouldn't say Pangram is broken, but I would say that it's brittle
Freddie deBoer zeigt anhand eigener Experimente, dass der KI-Erkennungsdienst Pangram widersprüchliche Ergebnisse liefert: Ein Abschnitt seines Essays wurde als 100% KI-generiert eingestuft, während der gesamte Essay als 100% menschlich galt. Er demonstriert, dass die Prozentangaben leicht manipuliert werden können, indem man menschliche und KI-Texte kombiniert, und kritisiert die Verwendung solcher Tools als 'Gotcha'-Maschinen.
Es ergibt keinen Sinn, dass ein System mit hoher Konfidenz sagt, ein Essay sei zu 100% von Menschen geschrieben, aber auch, dass ein Teil dieses Essays zu 100% von KI geschrieben sei, ebenfalls mit hoher Konfidenz, und dass dieser Teil wiederum Unterabschnitte enthält, die zu 100% von Menschen geschrieben sind.