Pangram-Test: 45 vergessene Bücher gescannt – keine einzige Fehlmarkierung
Scanning for Pangram Errors
Pangram, ein neues KI-Erkennungstool, behauptet eine Fehlerquote von nur 1 zu 10.000. Ein Betreiber einer Romance-Community testet das Tool auf ein mögliches Auswendiglernen des Trainingsdatensatzes. Dazu scannt er 45 vergessene, nie digitalisierte Bücher und lässt sie von Pangram analysieren. Das Ergebnis: Alle KI-Markierungen stammen von Halluzinationen des OCR-Dienstes Mistral, nicht von menschlichen Texten. Der Test spricht gegen die Memorierungs-Hypothese und unterstreicht die Notwendigkeit menschlicher Überprüfung.
Insgesamt geben mir die Ergebnisse das Vertrauen, dass Pangram seinen Trainingssatz nicht auswendig lernt.