Recrear Minecraft no es un benchmark
Recreating Minecraft Is Not a Benchmark
Tras el lanzamiento de GPT Astra, las redes se llenaron de demos virales como recrear Minecraft en un solo prompt o un pelícano en bicicleta. El autor las llama 'demo-benchmarks': pruebas visuales y finitas que los laboratorios pueden optimizar fácilmente para cada lanzamiento, midiendo preparación en lugar de capacidad real. Señala que incluso evaluaciones públicas estáticas, como las de Artificial Analysis, se filtran en los datos de entrenamiento, permitiendo que modelos más pequeños superen a otros mejores. Propone alternativas como pruebas rotativas o conjuntos privados, pero reconoce que las demos seguirán ganando en redes sociales por su impacto inmediato.
Una prueba que puedes perfeccionar en un horario mide preparación en lugar de capacidad; para mí, eso es lo contrario a la definición de un benchmark.
- bluegatty
Respuesta correcta, tesis equivocada.
El ejemplo de 'los laboratorios están optimizando para esto' es la tesis equivocada.
La generación arbitraria por parte de la IA de algo con 'sofisticación aparente' no es tan difícil; el problema es poder producir algo según una especificación que tiene elementos vagos invariables, y luego poder modificarlo racionalmente.
Mira la generación de imágenes: pulsas el botón mágico y obtienes un 'Pelícano en bicicleta', pero no puedes simplemente cambiar el 'sombrero' del pelícano. Tienes que pulsar el botón mágico otra vez y obtienes un Pelícano en bicicleta completamente diferente.
Esta es la presunción fundamental.
Es similar a la presunción de que 'escribir el código es el trabajo', pero no lo es; es la investigación, el diseño, la documentación, la integración y todo ese 'saber hacer' que tiene que 'residir en algún lugar' para que la forma del resultado pueda adaptarse y moldearse.
La salida de código arbitrario no es del todo inútil, pero casi; es el '80% que significa otro 80% y luego otro 80% por hacer'. Es como un punto de partida más bonito.
Las capacidades de investigación de la IA, que no dan lugar a buenas demostraciones, son posiblemente más poderosas.
- 0xb0565e486
Sigo viendo a Astra hacer cosas 3D hermosas en línea, pero cuando le doy algunos activos antiguos de RuneScape (incluso probé con pautas muy detalladas) y le pido que genere algunos activos nuevos plausibles, falla horriblemente.
Creo que todavía hay algo realmente extraño en los modelos actuales (de frontera) cuando se trata de crear cosas 'novedosas'. ¿Incluso gráficos de estilo 2004?
¿O lo estoy promocionando mal?
- orbital-decay
Esto suena poco convincente, porque a) la prueba del pelícano es subjetiva, simplemente no hay nada que filtrar ya que no tiene respuestas directas disponibles y quizás una señal de preferencia extremadamente débil, y b) los mismos modelos pequeños en realidad funcionan bien cuando cambias el tema. Algunos modelos están genuinamente entrenados para ser mejores en algún dominio, como diseños 2D o gráficos vectoriales en este caso. Todo depende de recetas y conjuntos de datos particulares. Esa es la razón real por la que estas pruebas son malas como comprobaciones de vibra: no hacen nada para desentrañar la generalización, la memorización y la preferencia de entrenamiento. En particular, hacer de una sola vez software popular definitivamente no es una buena prueba de nada, ya que la memorización va a dominarla.
AAII tampoco es muy útil, ni lo es ninguna puntuación genérica o benchmark. Si quieres un pronóstico del tiempo, no miras la temperatura promedio de la Tierra.
(En realidad, ¿cuándo se secuestró el término 'one-shot' para significar algo distinto de 'un ejemplo'?...)
- hombre_fatal
> Ese es el problema, estas pruebas ya no pueden decirte lo bueno que es un modelo porque es trivial para los laboratorios optimizar exactamente para estas pruebas en la próxima versión.
Pero no demuestran la afirmación. ¿Son los modelos increíbles recreando Minecraft, pero en el momento en que cambias la palabra Minecraft por otro juego o un juego personalizado, lo hacen fatal?
Eso no es lo que veo. Mi feed está lleno de gente usando Astra para recrear todo tipo de juegos, desde Diablo hasta alguna idea aleatoria que se les ocurrió, con un detalle ridículamente pulido, como animaciones que me habrían llevado semanas de iteración en gpt-5.6-sol pero que fueron un solo disparo de Astra.
- bloaf
El benchmark que quiero ver que la gente adopte es:
Construir un simulador de procesos químicos en estado estacionario basado en diagramas de flujo, y luego usarlo para simular y optimizar una refinería de petróleo a gran escala.
1) Construir un motor de resolución que funcione a esta escala no es un problema trivial, y los exitosos se basan más en heurísticas que en algún enfoque de solución categóricamente diferente.
2) Definir las ecuaciones de ingeniería relevantes para esta tarea depende de comprender qué nivel de fidelidad se requiere para responder las preguntas que la gente hace a los modelos de procesos en estado estacionario.
3) Conocer las propiedades termofísicas de los químicos y los crudos es posible a partir de la literatura abierta, pero la información está difusa y diferentes correlaciones son aplicables en diferentes situaciones.
4) Crear una GUI que convierta un diagrama de flujo en matemáticas matriciales no es trivial, aunque un enfoque modular secuencial es un poco más fácil.
5) Definir modelos a gran escala de manera que se resuelvan robustamente es tanto arte como ciencia. Por ejemplo, los circuitos de reciclaje completamente cerrados, como los sistemas de refrigeración, son una pesadilla para los solucionadores, por lo que a menudo es mejor definirlos en modo de bucle abierto.
6) La optimización implica conocer los precios relevantes de los productos básicos, pero más importante es cómo definir las restricciones en el modelo para que no diga simplemente que produzca gasolina infinita.
7) Solucionar los inevitables fallos de convergencia también es tanto arte como ciencia. Hay un gran número de técnicas de diagnóstico, pero fundamentalmente necesitas poder r [...]