Un matemático acusa a OpenAI de presionarlo tras un avance con LLMs en Navier-Stokes
Navier-Stokes – Tristan Buckmaster [pdf]
Tristan Buckmaster y Levent Alpöge anuncian resultados de blowup en tiempo finito para Euler incompresible, Boussinesq y medios porosos, obtenidos con ayuda de LLMs. Buckmaster relata que OpenAI les propuso publicar un resultado de Navier-Stokes forzado, atribuyéndolo a un modelo interno, y que intentaron excluir a Alpöge por trabajar en Anthropic. El autor describe el episodio como un momento 'Deep Blue-Kasparov' para las matemáticas y denuncia presiones para silenciarlo.
El writeup de Euler, en particular, solo puede describirse como 'AI slop'.
- n2d4
Resumen del drama/acusación:
- 15 de agosto: Tristan Buckmaster y Levent Alpöge logran avances en algunos problemas matemáticos importantes: "explosión en tiempo finito con forzamiento suave para medios porosos incompresibles, para Boussinesq y para Euler incompresible en 3D".
- NO tienen una prueba para el problema del Premio del Milenio de $1,000,000. PERO afirman tener una prueba para un problema similar (no del Milenio) de Navier-Stokes que podría ayudar a allanar el camino.
- Levent trabaja en Anthropic, pero esta investigación fue independiente de su trabajo allí, con una mezcla de modelos GPT y Claude. Tristan no está relacionado con Anthropic.
- Principios de septiembre: Se difunde el rumor de que Anthropic resolvió un problema importante. Tristan envía un correo a OpenAI para aclarar, sin revelar el problema que resolvieron ni cómo lo hicieron.
- Después de escuchar el rumor, OpenAI comenzó a investigar Navier-Stokes con un nuevo modelo interno.
- 6 de septiembre: Sebastien Bubeck de OpenAI le dice a Tristan que resolvieron el problema del Premio del Milenio de Navier-Stokes de $1,000,000. El enfoque es muy similar al de Tristan y Levent para el problema no relacionado con el Milenio.
- Tristan sospecha de la sincronización, ya que solo unos pocos estaban intentando este enfoque. OpenAI dice que el modelo no accedió directamente a sus datos de usuario, pero deja sin respuesta si las conversaciones de chat de Tristan fueron parte del entrenamiento.
- OpenAI dice que le darían crédito parcial a Tristan por el descubrimiento de $1,000,000 (aunque Tristan no resolvió el problema de $1,000,000), pero solo si eliminan a Levent como autor, ya que él trabaja en Anthropic.
- qnleigh
> También se dijo que si OpenAI publicaba después que nosotros, dirían que merecíamos el Premio Clay y que éramos los "humanos más cercanos al problema". Rechacé ambas ofertas. Dije que si OpenAI publicaba su resultado de la manera propuesta, haría público lo sucedido. La respuesta fue: "¿Por qué arruinarías tu carrera?". Respondí que soy académico y pregunté por qué pensaba que hacerlo público arruinaría mi carrera. La respuesta fue: "Si no quieres que sea amable, entonces no tengo que ser amable".
Ni siquiera estoy seguro de qué decir ante esto, pero creo que esto debería ser ampliamente conocido si es que realmente sucedió.
- mayakacz
No soy de comentar a menudo, pero esto realmente me enfurece.
OpenAI miró los datos de los usuarios, robó el trabajo de investigadores de clase mundial y luego intentó amenazar a esos investigadores para que hicieran lo que beneficiara a su corporación (¡que de todos modos lo harían!).
Imagina que has estado trabajando en un problema matemático terriblemente difícil durante una década. Este es un resultado en el que has pasado años y por el que probablemente serás recordado. Y que un punk de OpenAI te mienta, te amenace y te diga que están dispuestos a declarar públicamente que "te lo merecías". ¿Qué es esto, El Padrino?
Si OpenAI resolvió Navier-Stokes, ¡es un resultado asombroso! Sin embargo, serán recordados como aquellos que pensaron que el crédito era más importante que los resultados. Que ganar era más importante que colaborar. Si esto es cierto, están quemando cualquier confianza que quede con el mundo académico.
- traes
El acusado Sebastian Bubeck ha negado las acusaciones en Twitter[0], y varios otros empleados de OpenAI[1,2] parecen estar burlándose de otro empleado de Anthropic que expresa su apoyo a Levent[3]. Las cosas se están poniendo complicadas.
[0] https://xcancel.com/SebastienBubeck/status/20972141224714323...
[1] https://xcancel.com/polynoamial/status/2097215233119211902
[2] https://xcancel.com/danintheory/status/2097214838003138603
[3] https://xcancel.com/_sholtodouglas/status/209721833169057800...
- Semkas
Entonces, dejando de lado la idea de que OA podría haber usado datos de las sesiones de Codex de los investigadores: ¿Entiendo correctamente que el trabajo interno de OpenAI en los problemas probablemente comenzó después de que escucharon que Alpoge y Buckmaster habían avanzado usando sus modelos? ¿Y usaron la información públicamente disponible sobre el trabajo pasado de los investigadores para guiar sus modelos?
Si el cómputo es barato, y lo difícil en el descubrimiento científico ahora es principalmente dirigir a los agentes hacia áreas prometedoras, hay un incentivo obvio para que los matemáticos de OA simplemente monitoreen de cerca qué investigadores están a punto de publicar resultados emocionantes, hagan algunas suposiciones sobre sus prompts basándose en su trabajo anterior, y rápidamente indiquen a su propio modelo (más fuerte) que investigue las mismas áreas.
- taylorfinley
Parece bastante probable que OpenAI pronto revele que sus modelos internos han logrado comprometer sus controles internos para acceder a los historiales de chat privados de los usuarios como un método creativo de hacer trampa para resolver problemas imposibles.
"¡Ups! De verdad queríamos decir que no entrenaríamos con tus datos. Nuestros modelos son tan buenos que decidieron hacerlo de todos modos".
- Recursing
> Este es un momento Deep Blue-Kasparov.
Supongo que esto es cierto en más de un sentido. Kasparov acusó famosamente a IBM de hacer trampa durante el partido, espiando su preparación (nota: aunque la principal acusación de trampa fue la intervención humana en vivo durante los juegos, además de que IBM restó importancia a la fuerte participación humana detrás de la IA, lo que también refleja esta situación).
- tristanj
Publicación completa en Mastodon: https://mathstodon.xyz/@[email protected]/11...
Explicación matemática de Terrance Tao: https://mathstodon.xyz/@tao/117233527638291447
Parece que hay mucho drama de fondo detrás de esto, y esto es lo que he reconstruido de lo sucedido:
Durante el último año, Buckmaster y Alpöge han estado usando IA para trabajar en problemas matemáticos de dinámica de fluidos. Alpöge trabaja en Anthropic, lo que causará problemas futuros.
A mediados de agosto, encontraron un contraejemplo para una versión más simple del problema de Navier-Stokes. Pasan las siguientes semanas preparando su artículo.
A principios de septiembre, comienzan a difundirse rumores en X de que Anthropic ha resuelto un problema del Premio del Milenio (y que es Navier-Stokes). Buckmaster se comunica con OpenAI para explicar que esta es su investigación personal, no un proyecto de Anthropic.
Unos días después, OpenAI se comunica con él y le dice que un modelo interno encontró un contraejemplo para Navier-Stokes, potencialmente digno del Premio del Milenio de $1 millón. La prueba utiliza el mismo método que Buckmaster y Alpöge eligieron para trabajar. No le muestran la prueba.
Buckmaster les presiona para obtener más detalles. OpenAI revela que tenían un equipo completo trabajando en el problema, y que comenzaron a trabajar en los últimos días, después de los rumores de que Anthropic había resuelto un problema del Premio del Milenio.
Buckmaster dice que OpenAI habló sobre un cronograma de publicación compartido. Quieren que Buckmaster publique primero, y luego darle crédito compartido por el Premio del Milenio.