Un artículo académico asistido por IA cita un texto de TorrentFreak que nunca existió
AI-Assisted Paper on Z-Library Cites a TorrentFreak Article That Doesn't Exist
Dos bibliotecarios nigerianos publicaron en New Review of Academic Librarianship un artículo sobre Z-Library que incluye al menos diez referencias imposibles de localizar entre sus 44 fuentes, entre ellas un supuesto texto de TorrentFreak de 2021 con un título que nunca se publicó. Los agradecimientos admiten el uso de Consensus AI y ChatGPT, y la herramienta Pangram detecta que el resumen y la conclusión son 100% generados por IA. Taylor & Francis investiga el caso.
Sería bastante irónico que la IA causara estos errores: significaría que un artículo en una revista comercial revisada por pares, publicada por Taylor & Francis, se apoyó en la IA para escribir sobre Z-Library.
- gertrunde
Mi lado travieso se pregunta qué pasaría si TorrentFreak escribiera un artículo que coincida, con contenido que descoloque el paper...
- pyrophane
¿Alguien tiene datos sobre cómo y cuánto ha mejorado la alucinación de los modelos en los últimos años?
- kome
Pasa todo el tiempo; es malo, pero me pregunto si ya es noticia. La publicación académica ya era un circo antes de la IA; ahora simplemente es más manifiesto. Lo ridículo de inventar citas es tener que citar cualquier cosa que quieras decir. La mayoría de las citas en artículos de humanidades realmente no son necesarias.
- yuan-nvwa
Una señal práctica, desde el lado de la fabricación: las listas de referencias inventadas suelen ser demasiado convenientes. La literatura real es irregular: citas que respaldan la afirmación solo en parte, trabajos que la contradicen, vacíos donde nadie ha realizado el experimento. Una lista fabricada no tiene irregularidades: cada entrada respalda la frase a la que está adjunta, con la misma fuerza, en el mismo registro.
La otra cosa es que la confianza en el texto no aporta información. Una cita se genera por el mismo proceso que la frase que la rodea, y no cuesta nada escribir «como se muestra en [12]» exista o no [12]. Por eso «se lee como una cita real» no es evidencia, y la comprobación tiene que ser mecánica.
- henry0213
Dirijo una pequeña publicación asistida por IA, en solitario. Verificar las fuentes es necesario, pero no detecta el error que más me preocupa. Las comprobaciones de citas encuentran fuentes inventadas. No encuentran una fuente real citada para algo que no dice.
Hoy me topé con uno en mi propio trabajo. Una frase decía que un tribunal de apelaciones había fallado «en sentido contrario» sobre el uso justo para el entrenamiento de IA. Caso, fecha, fallo: todo correcto. Todos los hechos verificables pasaron. Pero solo había leído resúmenes. Cuando abrí el PDF real, la nota al pie 7 decía que el tribunal se estaba distinguiendo explícitamente del caso de IA generativa contra el que mi frase acababa de contraponerlo.
Ningún verificador de citas detecta eso. La fuente era real, la cita era correcta. El encuadre estaba mal.
Lo que lo detectó fue una regla que suena no relacionada: citar solo registros primarios, nunca resúmenes ni comentarios. Si los informes de bufetes de abogados hubieran contado como fuentes, seguiría equivocado, y seguiría pasando todas las comprobaciones.