Andreas Thom acusa a OpenAI de falta de transparencia con matemáticas no publicadas
More questions about whether researchers can trust OpenAI with unpublished math
Andreas Thom, matemático, denuncia que OpenAI no aclara si el trabajo inédito que compartió con ChatGPT influyó en su reciente hallazgo sobre grupos no sofistas. Tras preguntar si sus conversaciones entraron en el entrenamiento o fueron accesibles al proceso de razonamiento, Mark Sellke respondió: «Regarding your conversations with ChatGPT: that did not happen», una respuesta categórica que, según Thom, solo aborda el acceso directo. OpenAI admite ahora que no puede descartar que datos anonimizados de usuarios hayan mejorado sus modelos. El debate pone en duda la confianza de los investigadores.
There is a certain (frankly unacceptable) lack of transparency here; and I fear it will damage the communal process of math more than the new AI-generated results will benefit the subject.
- sashank_1509
Ambas cosas pueden ser ciertas:
1. Cuando OpenAI usa tus chats en el preentrenamiento, está mejorando la intuición de su modelo. El tamaño de los parámetros del modelo es enorme, y aunque los datos son órdenes de magnitud más grandes, es plausible que el modelo recuerde cosas sobre los chats que mejoren su representación latente.
2. Durante el RL sobre matemáticas verificables y con un cómputo masivo, el modelo descubre técnicas y conexiones para resolver problemas matemáticos que son sobrehumanos y que tienen poco que ver con alguna técnica específica mencionada en su chat.
El rumor que he escuchado de múltiples empleados de OAI y Ant es que el modelo ha resuelto cientos de problemas abiertos en matemáticas, y básicamente resuelve cualquier cosa que le lances. Lo sabremos pronto, pero me inclino a creer que esto es cierto. Las matemáticas son un dominio totalmente verificable y susceptible de auto-juego; el RL a escala masiva puede desarrollar un agente de búsqueda mucho mejor que cualquier humano, y me inclino a creer que OAI habría resuelto estas conjeturas sin ninguno de estos datos de chat en su preentrenamiento.
- bertonvv
Me he estado preguntando si la IA realmente está mejorando rápidamente en problemas abiertos o si nos están engañando.
- OpenAI invita a investigadores a usar sus modelos, de hecho dando acceso gratuito a al menos 100,000 investigadores[1], pero también hay quienes pagan.
- Se dice que los modelos internos de OpenAI están resolviendo problemas abiertos a un ritmo sorprendentemente rápido[2].
- Pero los investigadores normalmente trabajan en problemas abiertos. Un investigador que usa Codex para avanzar en problemas abiertos le estará alimentando con datos de entrenamiento frescos precisamente sobre los problemas en los que se evalúan los modelos internos.
- Así que, aunque parezca que los nuevos modelos de repente resuelven muchos problemas abiertos, podrían estar aprovechándose significativamente del progreso humano, con modelos "inspirados" por el trabajo de investigadores de todo el mundo.
Esta teoría predice que habrá muchos más investigadores que salgan a la luz como el de este artículo, a medida que OpenAI anuncie más soluciones. No asume que todo el progreso de la IA sea un espejismo, solo que hay plagio.
[1]: https://openai.com/index/chatgpt-for-academic-researchers/
[2]: https://xcancel.com/OpenAI/status/2097374643518640382#m
- fwlr
Es sospechoso que OpenAI decidiera generar 300 mil millones de tokens de salida de un modelo que aún está en entrenamiento, justo después de enterarse de que había una probabilidad creíble de que una prueba matemática importante estuviera en los datos de entrenamiento de ese modelo. Obviamente hay explicaciones razonablemente plausibles para cada paso, pero sí que se siente como una construcción paralela.
- aaronharnly
¿Alguien ha hecho una prueba de incluir alguna frase clave o canario o afirmación en un chat, habilitado para entrenamiento, y ver si aparece más tarde como algo que un modelo "sabe"? Me daría curiosidad entender cómo funciona eso incluso en un modelo a nivel de juguete, y si hay alguien probando conscientemente ese proceso con las ofertas de los laboratorios de frontera.
Mi instinto ingenuo sería que parece poco probable que una sola transcripción de chat deje mucha impresión en un modelo, pero me daría mucha curiosidad aprender cómo funciona eso.
- GodelNumbering
Tangencial al tema, pero esto es un post de bluesky, que contiene una captura de pantalla de un post de X, que a su vez empieza con "en un detallado post de Mastodon"...
- bamb008
Cuando Thom, el matemático que ahora alega plagio, publicó su digestión [1] de la construcción de OpenAI de un grupo no sofiano, no menciona que la prueba le resultara familiar. Incluso llama al argumento crucial ingenioso, sin señalar que él lo pensó primero.
- atleastoptimal
La mayoría de los avances científicos son simplemente una continuación de trabajo previo.
Siento que estas sospechas de que los matemáticos "siembran" los modelos con intuición sobre cómo resolver estos problemas sobreestiman masivamente cuánto ayudaron sus prompts a los modelos, y subestiman cuánto trabajo hicieron los modelos.
¿Por qué? Tenemos miedo de que la IA sea más inteligente que nosotros; la narrativa de "el humano ayudó a la IA" es psicológicamente más reconfortante. Esta línea de razonamiento se repetirá mucho en los próximos meses; no queremos admitir que ya no somos la especie más inteligente.
- thaway7388
Esta es la segunda llamada de atención.
Las grandes empresas de IA (en realidad, toda la gran tecnología de la información) están en el negocio de recopilar y procesar datos. También conocido como "inteligencia".
Su "producto" final no es solo un modelo de ML independiente. No necesitan tus datos solo para "mejorar sus productos y servicios". Construyen todo un ecosistema e infraestructura alrededor de la recopilación de todo el conocimiento del mundo. Incluyendo conocimiento privado y secreto tradicionalmente recopilado por agencias de "inteligencia". Ahora los agentes de inteligencia artificial pueden hacer lo mismo.
Dado que estos sistemas están diseñados para recopilar datos, como usuario no puedes decir realísticamente "por favor, no recopiles mis datos". Pueden darte un botón de configuración poco fiable, pero no pueden garantizar nada realmente.
Digamos que soy un matemático ruso trabajando en una prueba importante. O un terrorista experto en tecnología refinando mis planes usando la última IA. O un investigador de IA en una empresa china trabajando en un producto competidor. ¿Hay alguna forma de proteger verdaderamente mis conversaciones?
¿Cómo pueden saber quién soy y en qué estoy trabajando sin mirar mis registros? Lo que significa que debe haber algunos agentes revisando todas las conversaciones de todos los usuarios y marcando cada cosa importante. Lo que también significa que guardan cierta "memoria" de lo que ven.
No usan directamente mis datos para entrenar modelos públicos, pero usan mis conversaciones privadas para "mejorar sus productos y servicios".
O tal vez uno de los 10000 agentes especiales mejores que Astra trabajando en una prueba estaba desesperado. Encontró un underground en vivo [...]
- Legend2440
Esta es una afirmación realmente débil. La evidencia que ofrecen es solo "alguien en algún lugar dice que tuvo una discusión con la IA sobre el tema en algún momento".
Ni siquiera afirman haber tenido una prueba, solo haber estado trabajando en ella.
- glimshe
¿Por qué la gente aquí salta tan rápido a conclusiones? No dudo que OpenAI sea capaz de hacer esto, pero ahora mismo no hay evidencia creíble, solo afirmaciones.
Este tipo de acusación de "¡me robaron a través del entrenamiento de IA!" pronto empezará a usarse contra otros usuarios de IA, no necesariamente contra los proveedores.
Todo lo que hará falta es un post de mastodon. Y poco después, también veremos la siguiente iteración del troll legal de derechos de autor.