Пять моделей Qwen3.8-27B обошли Fable 5 на LiveCodeBench Hard
Memdoor: A team of 5 Qwen3.8-27B models beats Fable 5 on LiveCodeBench Hard
Команда из пяти моделей Qwen3.8-27B, работающих по методу GVS5H, показала средний результат 9,8 из 10 на первых десяти задачах LiveCodeBench Hard за пять проходов — против 9,6 у оригинальной реализации авторов и 8,0 у Fable 5 в одиночку. Каждый агент стартует с чистым контекстом и общается только через файлы на диске; успех определяет shell-скрипт, а не модель. Все 50 запусков опубликованы, 49 решены, общая стоимость — $35,79.
Дважды команда проиграла из-за одних и тех же двух пробелов в цикле авторов: менеджер выдумывал контрпример с неверным ожидаемым ответом, и команда переписывала верное решение.
- fedpost
Нам отчаянно нужно, чтобы локальные модели оставались конкурентоспособными по сравнению с гиперскейлерами. Я не хочу вечно зависеть от них и их прихотей. Теперь, когда Anthropic ограничивает реверс-инжиниринг игр, я думаю, мы вот-вот перейдём Рубикон цензуры.
- roenxi
Это довольно интересно, потому что с квантованиями Bonsai 2 вполне достижимо запустить Qwen 27B на 50 t/s на недорогой игровой машине [0]. Что, в свою очередь, говорит о том, что производительности Fable 5 в кодинге можно достичь локально с небольшим количеством умелой обвязки.
Хотя та же обвязка должна также улучшить производительность Fable. Важно то, что потолок локальной производительности, похоже, может быть довольно высоким.
[0] https://store.steampowered.com/hwsurvey/Steam-Hardware-Softw... предполагает 16 ГБ VRAM, 32 ГБ системной памяти.
- xlayn
Помните те gpu-в-чипах https://inference-docs.cerebras.ai/models/qwen-3.8-27b , где у вас есть этот чип, реализующий модель, которая работает на тех экстремально высоких скоростях... те, о которых люди спрашивают «зачем нам это»... если это правда... одного такого чипа с правильной обвязкой достаточно, чтобы получить интеллект уровня fable в каждом компьютере на этой планете...
Счастливого хэллоуина, Tax Ramltman и Amowhateverwayyournameiswritten...
- mkl
GVS5H, на котором это основано, обсуждался здесь неделю назад: https://news.ycombinator.com/item?id=50228167
- yurimo
Есть что сказать о силе грубых подходов. Прямо сейчас масштабирование мультиагентности, по-видимому, становится следующей важной осью, хотя и очень сильно ограничено качеством протокола коммуникации и вычислениями. Даже если одна модель недостаточно сильна индивидуально, больше моделей и больше попыток, а также различающиеся мнения могут подтолкнуть модели к лучшим бассейнам решений.
Своего рода расширение эффекта, когда вы говорите с моделью, она суперуверена (но ошибается), вы исправляете её не напрямую, а, возможно, вопросом и просьбой уточнить. Это, в свою очередь, ведёт к лучшему подходу в целом.
- zihotki
Я бы подождал больше бенчмарков, прежде чем делать какие-либо выводы, поскольку этот бенчмарк содержит только «первые десять задач из их списка LiveCodeBench Hard». А LiveCodeBench Hard — это бенчмарк нескольких лет давности. Может быть очень насыщенным.
- vrinsd
Может быть, немного не по теме основной статьи, но есть ли хороший ресурс или сайт, который ясно помогает понять, какие из «открытых» моделей хороши для задач программирования, например, C, C++, Python, Java?
Я искал, и есть тонны сайтов, которые агрегируют модели против бенчмарков, но я не уверен, насколько этому можно доверять.
- bad_haircut72
Вероятно, это не новая идея, но мне интересно, как бы это работало, если просто сложить кучу меньших моделей друг на друга и использовать это как основу для обучения гораздо более крупной модели. Может быть, эффективнее, чем начинать с нуля?