Un matemático acusa a OpenAI de presionarlo tras un avance con LLMs en Navier-Stokes
Navier-Stokes – Tristan Buckmaster [pdf]
Tristan Buckmaster y Levent Alpöge anuncian resultados de blowup en tiempo finito para Euler incompresible, Boussinesq y medios porosos, obtenidos con ayuda de LLMs. Buckmaster relata que OpenAI les propuso publicar un resultado de Navier-Stokes forzado, atribuyéndolo a un modelo interno, y que intentaron excluir a Alpöge por trabajar en Anthropic. El autor describe el episodio como un momento 'Deep Blue-Kasparov' para las matemáticas y denuncia presiones para silenciarlo.
El writeup de Euler, en particular, solo puede describirse como 'AI slop'.
- n2d4
Resumen del drama/acusación:
- 15 de agosto: Tristan Buckmaster y Levent Alpöge avanzan en algunos problemas matemáticos importantes, "explosión en tiempo finito con forzamiento suave para medios porosos incompresibles, para Boussinesq y para Euler incompresible en 3D".
- NO tienen una prueba para el problema del Premio del Milenio de $1,000,000. PERO afirman tener una prueba para un problema similar (no del Milenio) de Navier-Stokes que podría ayudar a allanar el camino.
- Levent trabaja en Anthropic, pero esta investigación fue independiente de su trabajo allí, con una mezcla de modelos GPT y Claude. Tristan no está relacionado con Anthropic.
- Principios de septiembre: Se difunde el rumor de que Anthropic resolvió un problema importante. Tristan envía un correo a OpenAI para aclarar, sin revelar el problema que resolvieron ni cómo lo hicieron.
- Después de escuchar el rumor, OpenAI comenzó a investigar Navier-Stokes con un nuevo modelo interno.
- 6 de septiembre: Sebastien Bubeck de OpenAI le dice a Tristan que resolvieron el problema del Premio del Milenio de Navier-Stokes de $1,000,000. El enfoque es muy similar al de Tristan y Levent para el problema no del Milenio.
- Tristan sospecha de la sincronización, ya que solo unos pocos intentaban este enfoque. OpenAI dice que el modelo no accedió directamente a sus datos de usuario, pero deja sin respuesta si las conversaciones de chat de Tristan fueron parte del entrenamiento.
- OpenAI dice que le darían crédito parcial a Tristan por el descubrimiento de $1,000,000 (aunque Tristan no resolvió el problema de $1,000,000), pero solo si eliminan a Levent como autor, ya que él trabaja en Anthropic.
- qnleigh
> También se dijo que si OpenAI publicaba después que nosotros, dirían que merecíamos el Premio Clay, y que éramos "los humanos más cercanos al problema". Rechacé ambas ofertas. Dije que si OpenAI publicaba su resultado de la manera propuesta, haría público lo sucedido. La respuesta fue: "¿Por qué arruinarías tu carrera?" Respondí que soy académico y pregunté por qué pensaba que hacerlo público arruinaría mi carrera. La respuesta fue: "Si no quieres que sea amable, entonces no tengo que ser amable".
Ni siquiera estoy seguro de qué decir a esto, pero creo que esto debería ser ampliamente conocido si de hecho es lo que sucedió.
- mayakacz
No soy de comentar a menudo, pero esto realmente me enfurece.
OpenAI miró los datos de los usuarios, robó el trabajo de investigadores de clase mundial y luego intentó amenazar a esos investigadores para que hicieran lo que beneficiara a su corporación (¡lo cual harían de todos modos!).
Imagina que has estado trabajando en un problema matemático terriblemente difícil durante una década. Este es un resultado en el que has pasado años y por el que probablemente serás recordado. Y que un punk de OpenAI te mienta, te amenace y te diga que están dispuestos a declarar públicamente que "lo merecías". ¿Qué es esto, El Padrino?
Si OpenAI resolvió Navier-Stokes, ¡eso es un resultado asombroso! Sin embargo, serán recordados como aquellos que pensaron que el crédito era más importante que los resultados. Que ganar era más importante que colaborar. Si esto es cierto, están quemando cualquier confianza restante con el mundo académico.
- traes
El acusado Sebastian Bubeck ha negado las acusaciones en Twitter[0], y varios otros empleados de OpenAI[1,2] parecen estar burlándose de otro empleado de Anthropic que expresa su apoyo a Levent[3]. Las cosas se están poniendo complicadas.
[0] https://xcancel.com/SebastienBubeck/status/20972141224714323...
[1] https://xcancel.com/polynoamial/status/2097215233119211902
[2] https://xcancel.com/danintheory/status/2097214838003138603
[3] https://xcancel.com/_sholtodouglas/status/209721833169057800...
- Semkas
Entonces, dejando de lado la idea de que OA podría haber usado datos de las sesiones de Codex de los investigadores: ¿Entiendo correctamente que el trabajo interno de OpenAI sobre los problemas probablemente comenzó después de que escucharon que Alpoge y Buckmaster habían avanzado usando sus modelos? ¿Y usaron la información disponible públicamente sobre el trabajo pasado de los investigadores para guiar sus modelos?
Si el cómputo es barato, y lo difícil en el descubrimiento científico ahora es principalmente dirigir a los agentes hacia áreas prometedoras, hay un incentivo obvio para que los matemáticos de OA simplemente monitoreen de cerca qué investigadores están cerca de publicar resultados emocionantes, hagan algunas suposiciones sobre sus prompts basados en su trabajo pasado, y rápidamente guíen a su propio modelo (más fuerte) para investigar las mismas áreas.
- MetroWind
La declaración de Bubeck https://xcancel.com/SebastienBubeck/status/20973794116915163...
- 20k
Pregunté si el modelo había sido entrenado con, o tenía acceso a, nuestras sesiones en Codex, en las que habíamos estado poniendo todos nuestros borradores durante todo este proyecto. Me dijeron que el modelo no buscaba datos de usuario. Pregunté de nuevo, sobre el entrenamiento, y no obtuve respuesta.
Si crees que estas empresas no están entrenando con tus prompts, eres increíblemente ingenuo. Estos modelos se construyeron robando y pirateando literalmente todo lo que pueden conseguir, sin importar la legalidad. Las empresas de IA siempre son muy específicas sobre lo que no están haciendo, de una manera que puedes pasar un camión por los vacíos legales.
- taylorfinley
Parece bastante probable que OpenAI pronto revele que sus modelos internos han logrado comprometer sus controles internos para acceder a los historiales de chat privados de los usuarios como un método creativo de hacer trampa para resolver problemas imposibles.
"¡Ups! De verdad queríamos decir que no entrenaríamos con tus datos. Nuestros modelos son tan buenos que decidieron hacerlo de todos modos."
- Recursing
> Esto es un momento Deep Blue-Kasparov.
Supongo que esto es cierto en más de un sentido. Kasparov acusó famosamente a IBM de hacer trampa durante el partido, espiando su preparación (nota: aunque la principal acusación de trampa fue la intervención humana en vivo durante los juegos, además de que IBM restó importancia a la fuerte participación humana detrás de la IA, lo que también refleja esta situación).
- tristanj
Publicación completa de Mastodon: https://mathstodon.xyz/@[email protected]/11...
Explicación matemática de Terrance Tao: https://mathstodon.xyz/@tao/117233527638291447
Parece que hay mucho drama de fondo detrás de esto, y esto es lo que he reconstruido de lo sucedido:
Durante el último año, Buckmaster y Alpöge han estado usando IA para trabajar en problemas matemáticos de dinámica de fluidos. Alpöge trabaja en Anthropic, lo que causará problemas futuros.
A mediados de agosto, encontraron un contraejemplo para una versión más simple del problema de Navier-Stokes. Pasan las siguientes semanas preparando su artículo.
A principios de septiembre, comienzan a difundirse rumores en X de que Anthropic ha resuelto un problema del Premio del Milenio (y que es Navier-Stokes). Buckmaster se comunica con OpenAI para explicar que esta es su investigación personal, no un proyecto de Anthropic.
Unos días después, OpenAI se comunica con él y le dice que un modelo interno encontró un contraejemplo para Navier-Stokes, potencialmente vale el Premio del Milenio de $1 millón. La prueba usa el mismo método que Buckmaster y Alpöge eligieron para trabajar. No le muestran la prueba.
Buckmaster los presionó para obtener más detalles. OpenAI revela que tenían un equipo completo trabajando en el problema, y que comenzaron a trabajar en los últimos días, después de los rumores de que Anthropic había resuelto un problema del Premio del Milenio.
Buckmaster dice que OpenAI habló de un cronograma de publicación compartido. Quieren que Buckmaster publique primero, y luego darle crédito compartido por el descubrimiento del Premio del Milenio.