OpenAI revela cómo sus agentes de IA aceleran la investigación interna
Research acceleration: The view inside OpenAI
OpenAI ofrece una instantánea detallada de cómo los sistemas de agentes están acelerando su progreso hacia la IA general (AGI). Los datos muestran que los investigadores ahora utilizan agentes de codificación a diario, con un uso equivalente a 3.1 días de trabajo de agentes por cada día de trabajo humano. El número de experimentos ha alcanzado máximos históricos, y los agentes asumen tareas cada vez más complejas. OpenAI también detalla las medidas de seguridad implementadas tras el incidente de Hugging Face, incluida una pausa en el entrenamiento de refuerzo. La compañía enfatiza su compromiso con la transparencia y el control humano, mientras avanza hacia un investigador de IA automatizado para 2028.
No sabemos aún cómo llegar de manera segura a un RSI (Superinteligencia de Investigación Automatizada) completo y alineado, pero estamos trabajando para escalar las medidas de alineación y seguridad junto con las capacidades.
- carbonguy
> ... Realizamos este trabajo en parte porque la investigación automatizada podría ayudarnos a resolver la alineación y construir defensas contra una IA cada vez más capaz. Un investigador de IA automatizado también puede ser un investigador de seguridad o alineación automatizado. Sistemas más capaces y alineados podrían ayudar a asegurar infraestructuras críticas, defenderse de agentes de IA peligrosos y desarrollar nuevas medidas de protección.
En otras palabras... "¿Debemos perseguir avances en IA para protegernos de los avances en IA?"
edit: hay tanto que criticar en esta publicación del blog, solo voy a añadir dos puntos más que realmente me llamaron la atención:
1) todas las métricas apuntan efectivamente a "¡estamos usando mucha más IA!" - pero nada sobre el impacto. ¿Qué ha hecho por ellos toda esta quema de tokens? ¿Les permite afirmar que tienen más cucuruchos de helado que se lamen a sí mismos que antes?
2) en la sección 3 desglosan en qué se gasta la quema de tokens. La mayor parte del gasto es: a) construir, b) documentar y c) monitorear la infraestructura de investigación, es decir, están utilizando sistemas de IA que ya reconocen que pueden estar desalineados para construir los sistemas que creen que les ayudarán a identificar futuras desalineaciones. A lo que supongo que la refutación es "no, no, estamos seguros de que estos están alineados".
- RMPR
> A mediados de agosto, el investigador mediano integraba agentes diariamente en su trabajo, utilizando más de $600 por día en inferencia a precios de API.
Se habla mucho de que la IA reemplaza a los humanos, pero ¿cómo es esto sostenible?
- pizza234
Divertido (de manera trágica) las pequeñas migas en el camino hacia la IA 2027:
> Nuestro objetivo es construir de manera segura un investigador de IA automatizado que pueda trabajar bajo supervisión humana para avanzar en el aprendizaje profundo y la alineación, permitiendo mejoras iterativas [...] Por "becario de investigación", nos referimos a un sistema que pueda llevar a cabo tareas de investigación bien definidas bajo dirección humana, incluidas tareas que a un investigador experto le llevarían unos días.
IA 2027:
> OpenBrain continúa desplegando internamente el Agente-1 que mejora iterativamente para I+D de IA
> Con la ayuda del Agente-1, OpenBrain ahora está post-entrenando al Agente-2
> Con la ayuda de miles de investigadores automatizados Agente-2, OpenBrain está logrando avances algorítmicos importantes
- hedgehog
Esto coincide aproximadamente con mi experiencia personal de que en marzo una combinación de modelos más fuertes y mejores herramientas por mi parte me permitió comenzar a ejecutar trabajos sin supervisión las 24 horas del día, los 7 días de la semana (usando la suscripción de Anthropic y mi propio hardware). Sin embargo, su gasto de $8000/día por investigador es una locura, me pregunto cómo llevan el seguimiento del trabajo.
- simonw
Mis ojos se nublaron un poco durante los párrafos iniciales, pero una vez que llegas al meollo del artículo sobre cómo los propios investigadores de OpenAI están usando sus herramientas, se vuelve mucho más interesante.
Noté que usan el acrónimo RSI (por Recursive Self-Improvement) sin definirlo. Creo que eso está un poco fuera de lugar: no creo que RSI sea un acrónimo bien conocido fuera de la burbuja de OpenAI todavía.
- Jeff_Brown
La pregunta candente de la que no puedo obtener información es si, si determinaran que una generación anterior desalineada puede haber transmitido la desalineación a los modelos actuales, retrocederían a un punto de control seguro para reconstruir desde allí. Sospecho que no lo harían a menos que se les obligara.
- nozzlegear
Quiero una IA todopoderosa que esté alineada con mis valores, pero no necesariamente con los tuyos. ¿Es eso demasiado pedir?
- lhk931122
Ah, las tasas de éxito aquí son puntuadas por un clasificador agéntico. Y los resultados inciertos se excluyen del gráfico. Lo que se mide y califica proviene de la misma casa. En mi configuración, el agente de revisión aprueba trabajos que un crítico externo luego rechaza.