La revisión por pares está en peligro de colapsar por los textos generados por IA

Can Peer Review Survive AI-Generated Text? [pdf]

Dario Caldara y Jesús Fernández-Villaverde advierten que los LLM ya redactan artículos e informes de revisión en economía. Proponen que los detectores de IA sean una herramienta estándar: un informe marcado como generado por IA debe leerse con lupa y puede rechazarse al primer error, y un informe de revisor hecho por IA no aporta nada que el editor no obtenga ejecutando él mismo el prompt. Con un experimento con 25 informes reales de Nature Communications, muestran que los detectores distinguen entre textos escritos por IA y textos solo corregidos o editados por ella.

El problema real no es que los artículos y los informes estuvieran generados por IA; es que nadie había pensado detrás de ellos, y se notaba.
  1. marginalia_nu

    Para ser justos, el modelo de revisión por pares se estaba desmoronando mucho antes de que existiera el texto generado por IA, principalmente debido a la naturaleza explotadora de las revistas académicas, lo que lleva a estructuras de incentivos que no están alineadas con producir buena ciencia.

    A los revisores no se les paga y tienen cero incentivos para hacer un buen trabajo. En muchos casos puedes simplemente enviar un artículo una y otra vez a diferentes revistas hasta que se encuentre con un revisor que no se molesta en leerlo, momento en el que se aprueba sin más. El resultado es que, una y otra vez, ciencia increíblemente chapucera y con demasiada frecuencia directamente fraudulenta ha pasado la revisión por pares.

  2. patrickmay

    Resumen, para aquellos que no estén interesados en leer el artículo completo:

    "Los grandes modelos de lenguaje ahora escriben artículos e informes de arbitraje en economía. El campo debe desarrollar mejores prácticas para manejar el texto generado por IA en el proceso de publicación. De lo contrario, la revisión por pares corre un serio peligro de colapsar. Proponemos que los detectores de IA se conviertan en una herramienta estándar de la profesión. Nuestro experimento muestra que detectan informes de arbitraje escritos por IA, no informes que la IA simplemente corrigió o ayudó a editar.

    Con la ayuda de un modelo simple, argumentamos que un artículo marcado como generado por IA debería desencadenar una lectura más detallada y puede ser rechazado en el primer error, y que un informe de arbitraje generado por IA no añade nada que los editores no pudieran obtener ejecutando ellos mismos el prompt. Tales informes son inaceptables: dañan a los autores y a las revistas y deberían tratarse como plagio. La moderación individual ya ha mostrado sus límites, y la profesión necesita desarrollar normas para resolver este problema de acción colectiva. Cerramos con una guía práctica para autores, árbitros y editores."

  3. FabCH

    Soy revisor ocasional.

    La revisión por pares ha estado muriendo durante mucho tiempo.

    En mi humilde opinión, la solución era simple antes de la IA y es simple con la IA:

    Revisión doble ciego, pero después del proceso de envío tanto el artículo como las revisiones se hacen públicas, con atribución completa.

  4. astro1234

    Voy a expresar un tipo de opinión que históricamente ha sido rechazada de manera abrumadora por este grupo:

    La revisión por pares dejará de importar en unos 2 años y parecerá absurdo que alguna vez nos hiciéramos estas preguntas.

    A pesar de que se ha demostrado una y otra vez que las tendencias de rendimiento son increíblemente estables y, si acaso, se están acelerando ligeramente, que las leyes de escalado del preentrenamiento y sus análogos para el postentrenamiento son lo suficientemente fiables como para que esto sea matemáticamente indiscutible, es igual de fiable que estas proyecciones claramente precisas son tan increíbles que la gente todavía no parece aceptarlo. Esta frase ha sido cierta y podría haberse dicho en cualquier momento durante los últimos 4-5 años (y se ha dicho, muchas veces).

    El escenario AI 2027, aunque es hilarante cuando se publica, es alarmantemente no tan lejano de donde estamos hoy. Como informa Dwarkesh de sus conversaciones con investigadores de Anthropic y de otros laboratorios, vamos camino de resolver la RSI en algún momento de 2027 (de nuevo, algo relativamente fácil de proyectar si sabes un poco sobre tendencias de rendimiento y cómo se mide el rendimiento de los modelos).

    El mundo no implosionará como una estrella moribunda, y espero que la experiencia sea más o menos lo que estamos viviendo hoy, aunque algunas capacidades experimentarán una tasa de mejora mucho mayor, y dado que hay cuellos de botella inevitables que la IA no puede sortear nunca y algunos que tardarán años en descubrir cómo romper. Pero "oh no, no tenemos humanos para la revisión por pares" […]

  5. imeanwhatdoikno

    No estoy en el mundo académico, así que lo siguiente podría ser ingenuo, pero no es plausible que volvamos a los días anteriores a que los LLM escribieran y revisaran artículos. La cantidad de producción de LLM tampoco es probable que disminuya alguna vez (y por lo que entiendo, el número de artículos escritos incluso en los días previos a los LLM ya estaba abrumando el sistema). Así que:

    1. Los artículos podrían autopublicarse en la web (Arxiv o Github o donde sea).

    2a. Los artículos podrían anunciarse/publicitarse principalmente por medios informales (X y otras redes sociales, boca a boca, etc.)

    2b. Además, podría haber anuncios periódicos formales por parte de instituciones académicas o entidades industriales a las que pertenecen los autores. Por ejemplo, una universidad podría publicar una lista de los 10 mejores artículos (para tu valor preferido de 10) de cada departamento, seleccionados por ese departamento. La inclusión de un artículo en estas listas de "los 10 mejores" no significaría necesariamente que el artículo haya sido revisado por pares de alguna manera. Solo indicaría que este artículo podría valer la pena revisarlo.

    3. El propósito de las revistas/editores podría cambiar de revisar/publicar artículos a agregar todos estos anuncios informales, así como todas las listas de "los 10 mejores", para identificar los artículos nuevos más interesantes/prometedores en los respectivos campos, con sus URL. Luego correspondería a los miembros de la comunidad interesados en esos temas decidir si revisan o no los artículos en cuestión.

Más de este día

2026-11-18