Pangram, el detector de IA, se contradice a sí mismo: un ensayo humano marcado como 100% IA por partes
I wouldn't say Pangram is broken, but I would say that it's brittle
El escritor Freddie deBoer fue acusado de usar IA en un artículo suyo basándose en un análisis de Pangram que marcaba un fragmento como 100% IA. Al probar la herramienta, descubrió inconsistencias absurdas: el mismo ensayo completo fue declarado 100% humano, mientras que un fragmento de 300 palabras dentro de él fue marcado como 100% IA, y subfragmentos de ese fragmento volvían a ser 100% humano. Además, al mezclar texto humano con texto generado por ChatGPT, Pangram a menudo devuelve resultados extremos (100% IA o 100% humano) en lugar del porcentaje esperado según la proporción real. DeBoer argumenta que estos fallos socavan la fiabilidad de la herramienta y alerta sobre su uso como 'máquina de acusaciones' con graves consecuencias profesionales.
Es una muñeca rusa de resultados contradictorios: fragmentos que Pangram llama 100% humanos forman parte de un fragmento más grande que Pangram llama 100% IA, que a su vez forma parte de un ensayo que Pangram llama 100% humano.