Un modelo de IA busca los descubrimientos que ningún científico se plantearía

Soy coautor: mi primer artículo de postdoctorado fue aceptado en la conferencia principal de NeurIPS.

Creamos una forma de muestrear ideas diversas en machine learning: ideas que tienen sentido científico, pero que ninguna comunidad de investigación existente está en posición de proponer.

En resumen, así es como funciona:

1. Se toman 16.068 artículos de LLM (NeurIPS, ICLR, ICML, ACL, EMNLP, de 2017 a 2025) y se descomponen en 273 "átomos de ideas". Cada artículo, y cada idea candidata, se convierte en un conjunto de átomos.

2. Se entrena un Modelo de Coherencia: un transformer de 42,8M de parámetros entrenado con artículos como secuencias de átomos. Básicamente, un modelo de lenguaje cuyos tokens son ideas.

3. Se entrena un Modelo de Disponibilidad Cognitiva: un codificador dual entrenado con los historiales de publicación de 39.791 investigadores, que predice hacia dónde podría ir plausiblemente cada persona a continuación.

4. Se usan esos modelos para puntuar las tuplas muestreadas mediante fusión de rangos recíprocos (quieres ideas que encajen bien entre sí, pero que no estén cognitivamente disponibles para nadie).

Lo probamos de varias maneras. Una interesante fue que tomamos todos los artículos de finales de 2024 y luego comprobamos qué tuplas con puntuación alta aparecían en artículos de 2025. Funcionó bien: un ejemplo es un oral de ICLR 2025, que pasa del puesto 1.489 solo con coherencia al top 25 de 1,14M de muestras.

Una curiosa: si le pides a Claude que proponga una idea de investigación en ML, a menudo trata sobre interpretabilidad. Si luego ejecutas un pipeline de autoresearch con unas A100 sobre la idea, el resultado tiende a ser interpretabilidad 8 de cada 10 veces. Nuestro método Alien Sampling se mantuvo en […]