«No creo que la I+D autónoma con IA sea tan ingeniosa»
I struggle to believe that AI R&D is ingenious
Arjun Panickssery pone a prueba a Astra en varios proyectos propios: un motor de Scrabble, un bot de Ultimate Tic-Tac-Toe y un wiki de filosofía. En todos los casos el modelo falla de forma básica: no distingue los papers relevantes, diseña experimentos sin valor informativo y se pierde en direcciones triviales. Solo destaca en tareas de escalada con bucles de retroalimentación rápidos, y aun así necesitó sus indicaciones para dar los saltos clave.
En todos estos casos, el juicio del modelo es sencillamente muy pobre de una forma básica.
- intenex
Me sorprende no ver a nadie mencionar el hecho de que los modelos internos que usan los laboratorios de frontera están a años luz de los modelos públicos que tenemos: en el último informe de METR, estamos tres generaciones por detrás, ¡y todavía hay un modelo sin publicar de julio!
Y el último modelo que midieron, que ya está por detrás del modelo más nuevo en el que están trabajando ahora, tiene un salto de capacidades demencial: https://www.reddit.com/r/singularity/comments/1xorf5c/metr_r...
Esto es fácil de verificar empíricamente con unos cálculos a ojo: el modelo interno de OpenAI que resolvió Navier-Stokes hace ~2 meses necesitó 10.000 agentes ejecutándose durante 88 horas, o 880.000 horas en total, para resolverlo. Un mes después, cuando publicaron las 722 demostraciones matemáticas con algunos resultados realmente asombrosos como UGC ahí dentro, le tomó a un solo agente un promedio de 3 horas obtener esos resultados. Claro, los resultados no son del mismo calibre, pero algunos de ellos son genuinamente una locura, e incluso si le quitas varios dígitos a la aceleración de 300.000x, sigues obteniendo una aceleración demencial en capacidades.
Y luego, por supuesto, se refutó ETH, y Anthropic afirmó que solo necesitaron 14 millones de tokens de salida para lograrlo con su modelo de investigación interno.
En pocas palabras, los modelos que los laboratorios de frontera están usando para acelerar la I+D de forma autónoma, que les hacen creer que la RSI es inminente, no se parecen en nada a los modelos desactualizados que tenemos disponibles públicamente. Decir que los modelos de hoy no parecen que harían un […]
- mangecoeur
Los LLM están lejos de ser ingeniosos o innovadores. La principal forma en que pueden sorprenderte hoy es trayendo información que es nueva PARA TI; a veces me impresionan los algoritmos que sacan simplemente porque nunca estudié formalmente informática. Pero cuando pisan mi terreno, los encuentro muy básicos, y para cosas de mayor alcance como la arquitectura de sistemas son terribles; por su naturaleza, no tienen una "visión" de cómo encaja todo el sistema en conjunto.
- ainch
Esto también coincide con mi instinto. Cuando intento depurar pipelines de aprendizaje automático o proyectos de investigación, las sugerencias de los LLM que he recibido casi siempre son técnicamente correctas, pero señalan detalles pequeños y tediosos que realmente no importan. En mi experiencia, no ven el bosque por los árboles.
Soy pesimista en que el escalado continuo vaya a resolver esto por completo. Mientras tanto, sin embargo, como señala un comentarista en el post original, al resolver lo mundano (construir herramientas de diagnóstico, producir visualizaciones, montar experimentos) siguen demostrando ser asistentes de investigación extremadamente útiles.
- nfw2
También he encontrado muy difícil dejar a los agentes de IA a su aire durante largos periodos y obtener mucho beneficio productivo de ello.
Supongo que es posible que los laboratorios de frontera tengan modelos internos que estén tan lejos que la investigación autónoma sea posible, pero no estoy seguro de que sea eso.
Me parece que estos modelos son como una parte muy competente e importante de algún hipotético cerebro digital, pero por sí solos no tienen todas las facultades que necesitan para ser útiles, como un genio con TDAH severo y pérdida de memoria a corto plazo.
Para cualquier cosa en la que la calidad no sea objetiva de forma clara, se necesita una gestión del contexto muy intencionada para obtener buenos resultados. A medida que el tamaño del contexto se expande, el rendimiento se degrada. A medida que aumenta el número de tareas, el rendimiento se degrada. A medida que aumenta el número de decisiones independientes basadas en criterios subjetivos, el rendimiento se degrada.
Si puedes conseguir un arnés que asegure que cada decisión se toma de una en una, enfocado solo con el contexto que necesita, las cosas funcionan de maravilla. Pero hacer esos arneses sigue siendo difícil, mucho trabajo, y algo con lo que los agentes parecen no tener ni idea de cómo ayudarte.
- rcxdude
Parece que son mucho mejores en lo pequeño que en lo grande. Estoy de acuerdo en que el juicio es cuestionable, y cada informe sobre hacer grandes enjambres parece sugerir que se basa en rendimientos decrecientes espectaculares sobre el rendimiento de un solo agente, especialmente un solo agente con un humano en el bucle.
- p1necone
Por un lado, sí, estoy de acuerdo.
Por otro lado, usar IA para rebuscar en todo el trabajo pesado, los experimentos y las áreas bien trilladas significa que puedo trepar bastante cerca del hombro de ese gigante y gastar mucho menos esfuerzo yo mismo respondiendo las preguntas realmente importantes para poder pararme sobre él.
(Se supone que esto no suena autoengrandecedor: los gigantes sobre cuyos hombros estoy parado no son muy altos, y probablemente tengan hermanos y hermanas mayores, pero el modismo era una coincidencia demasiado buena como para no usarlo).
- skew-aberration
Usando Fabel para mejorar algunos modelos de ML no-IA hace un tiempo, tuve un resultado similar: podía implementar perfectamente cualquier sugerencia que hiciera, pero no podía trabajar de forma autónoma debido a que hacía sugerencias muy pobres por sí mismo, o se distraía con las cosas equivocadas, hacía suposiciones tontas, no lograba ver el panorama general, etc.
Sin embargo, estos parecen problemas bastante fáciles de resolver si pudiera permitirme 100 o 1000 agentes. Dejarlos explorar y competir y resolver sus errores por sí mismos.
A nivel práctico, sin embargo, ahora hago mucho más trabajo de I+D 'extra' simplemente manteniendo los agentes en marcha y probando ideas en segundo plano.
- MiliasGeiger
> En todos estos casos, el juicio del modelo es simplemente muy pobre de una manera básica.
Esta frase resonó fuertemente conmigo. No solo en I+D sino en cada interacción con el modelo. Desde Fable hasta Sonnet, todos muestran claramente un juicio nulo a menos que la respuesta ya se haya visto durante el entrenamiento.