Cinco modelos Qwen3.8-27B superan a Fable 5 en LiveCodeBench Hard
Memdoor: A team of 5 Qwen3.8-27B models beats Fable 5 on LiveCodeBench Hard
Un workflow de Memdoor reconstruye el método GVS5H: cinco roles (planificador, dos ideadores, solucionador y mánager) más un reparador, cada uno con contexto fresco y comunicándose solo mediante archivos. Con los prompts exactos de los autores y Qwen3.8-27B, el equipo logró una media de 9.8/10 en cinco pasadas sobre los primeros diez problemas de LiveCodeBench Hard, frente a 9.6 de su propio harness y 8.0 de Fable 5 en solitario. Los 50 intentos se publicaron; 49 resolvieron, con un coste total de $35.79.
Dos veces, los mismos dos fallos en el bucle de los autores: en la pasada 5, el mánager inventó un contraejemplo con una respuesta esperada incorrecta, el equipo reescribió el programa y el nuevo pasó las muestras, que no cubren ese caso.
- fedpost
Necesitamos desesperadamente mantener los modelos locales competitivos con los hiperescaladores. No quiero estar sujeto a ellos y a sus caprichos para siempre. Con Anthropic restringiendo ahora la ingeniería inversa de juegos, creo que estamos a punto de cruzar un Rubicón de censura.
- roenxi
Eso es bastante interesante, porque con las cuantizaciones de Bonsai 2 es bastante factible hacer funcionar Qwen 27B a 50 t/s en una máquina de gaming a precio razonable [0]. Lo cual, a su vez, sugiere que se puede lograr el rendimiento de codificación de Fable 5 localmente con un poco de aprovechamiento ingenioso.
Aunque ese mismo aprovechamiento también debería mejorar el rendimiento de Fable. Lo importante aquí es que el techo para el rendimiento local parece que podría ser bastante alto.
[0] https://store.steampowered.com/hwsurvey/Steam-Hardware-Softw... sugiere 16 GB de VRAM, 32 GB de sistema.
- xlayn
¿Recuerdan esas GPUs convertidas en chips https://inference-docs.cerebras.ai/models/qwen-3.8-27b, donde tienes este chip que implementa un modelo que corre a esas velocidades extremadamente altas... esos de los que la gente pregunta "¿por qué necesitamos eso"... si esto es cierto... uno de esos chips con el arnés correcto es todo lo que se necesita para obtener una inteligencia similar a Fable en cada computadora de este planeta...
Feliz Halloween Tax Ramltman y Amowhateverwayyournameiswritten...
- mkl
GVS5H, en el que se basa esto, se discutió aquí hace una semana: https://news.ycombinator.com/item?id=50228167
- yurimo
Hay algo que decir sobre el poder de los enfoques de fuerza bruta. Ahora mismo, escalar multiagente parece ser lo que se está convirtiendo en el siguiente eje importante, aunque muy fuertemente limitado por la calidad del protocolo de comunicación y el cómputo. Incluso si un modelo no es lo suficientemente fuerte individualmente, más modelos y más intentos, así como opiniones divergentes, pueden empujar a los modelos hacia cuencas de soluciones mejores.
Es algo así como una extensión del efecto en el que hablas con un modelo, está súper seguro (pero equivocado), lo corriges no directamente sino quizás con una pregunta y pidiéndole que aclare. Esto, a su vez, conduce a un mejor enfoque en general.
- zihotki
Esperaría más benchmarks antes de sacar conclusiones, ya que este benchmark solo tiene "los primeros diez problemas de su lista LiveCodeBench Hard". Y LiveCodeBench Hard es un benchmark de hace varios años. Podría estar muy saturado.
- vrinsd
Quizás un poco fuera de tema respecto al artículo principal, pero ¿hay algún buen recurso o sitio que ayude claramente a entender cuáles de los modelos "abiertos" son buenos para tareas de programación, como C, C++, Python, Java?
He buscado y hay toneladas de sitios que agregan modelos frente a benchmarks, pero no estoy seguro de cuánto de eso es confiable.
- bad_haircut72
Probablemente esto no sea una idea novedosa, pero me pregunto cómo funcionaría si simplemente apilaras un montón de modelos más pequeños uno encima de otro y usaras eso como base para entrenar un modelo mucho, mucho más grande. ¿Quizás más eficiente que empezar desde cero?