GitHub представил HydraFusion: оркестрация моделей повышает качество на 4,9 п.п. и снижает стоимость на 67%
Project HydraFusion: Frontier quality via multi-model orchestration
GitHub анонсировал HydraFusion — исследовательский предпросмотр, который в рантайме выбирает и комбинирует модели от разных провайдеров для решения задач кодинга. Система сама строит план выполнения: выбирает одну модель, каскад «черновик → проверка → эскалация» или схему с независимым критиком. В офлайн-тестах на TerminalBench 2.1 HydraFusion улучшил качество на 4,9 процентных пункта при снижении стоимости на 67% по сравнению с Claude Opus 5. На DeepSWE и внутреннем CheckpointBench качество почти не уступает Opus 5, но стоимость ниже на 36% и 65% соответственно. Для разработчика HydraFusion выглядит как обычная модель: он сам решает, какой workflow оптимален по качеству, цене и задержке.
Мы считаем, что следующий реальный прирост в агентном кодинге произойдет за счет сочетания передового интеллекта с рантайм-оркестрацией.
- hdz
Если вы пользователь copilot cli (мы существуем), то знаете, что авто-режим оставляет желать лучшего. Он меняет модели только в начале сессии или после уплотнения. Большинство задач разработки теперь сильно зависят от субагентов, и нет маршрутизации моделей для субагентов.
Я замечаю, что в сравнениях не упоминаются уровни усилий. 5.6 Luna Max действительно хорош и действительно дешев. Оркестратор 5.6 Sol с 5.6 Luna Max — это дёшево, имеет производительность уровня frontier и быстрее, чем один Sol. Этого можно достичь простыми инструкциями агенту. С нетерпением жду запуска собственных бенчмарков на HydraFusion, чтобы посмотреть, как он справится. Похоже, ушли в прошлое дни, когда одна модель делала всю работу, если только работа не требует вызовов инструментов.
- gopalv
> Одна модель создаёт черновик результата, независимый критик, доступный только для чтения, из другого семейства моделей проверяет его.
Здесь ключевым является наличие нескольких поставщиков моделей: каскадный паттерн в этом не нуждается, а паттерн критики — да.
В ноябре моя команда написала статью («Team of Rivals») о разнице между использованием модели OpenAI для критики вывода модели Anthropic и запуском цикла самопроверки на том же поставщике.
Абляции [1] доказали, что ни одна компания по отдельности не была лучше, чем использование обеих.
Статья была общим ответом на вопрос «Что ваша компания делает такого, чего не может Anthropic?», но больше была демонстрацией того, как сделать что-то на 90%+ хорошим с помощью моделей, которые оцениваются примерно в 60% (и пост Gas Town разблокировал наш аргумент о «коммерческой тайне» в отношении статьи).
- Roark66
Я сомневаюсь в их результатах. Не нужно много усилий, чтобы превзойти frontier в отдельных бенчмарках, если поместить дополнительное программное обеспечение между моделью и harness.
Это также причина, по которой сравнение «голых моделей», для которых доступны веса, и frontier, где провайдеры могут делать за кулисами всё, что захотят, несправедливо.
В частности, всё, что потребовалось, чтобы поднять Qwen3.8-27B на 10% больше очков на SWEbench Pro и Terminal Bench 2.0 с прокси, имеющим только эти базовые вещи:
- подстройка нескольких параметров декодирования, например, немного более высокая температура
- обнаружение, когда модель застревает, и указание ей «продолжай»
- обнаружение ответов, обрывающихся на середине, пустых ответов, содержащих только рассуждения, форматов, не прошедших проверку, и т.п., и указание модели «постарайся лучше»
И это всё. На 10% больше. Признаю, на подмножестве задач, но результаты есть результаты, даже на подмножестве.
- zatkin
Это, должно быть, худшее название проекта, которое я видел за весь год.
- guybedo
Я использовал adversarial critique и ревью для многих этапов планирования, проектирования решений и реализации внутри рабочих процессов.
Это настолько эффективно и помогает выявлять так много ошибок проектирования, недочётов реализации и т.д., что я задаюсь вопросом, как люди умудряются строить сложные/крупные проекты с агентами без такого процесса. Ну, на самом деле я создал эту штуку, потому что не мог получить хороших результатов, поэтому мне пришлось найти способ.
Я собираюсь открыть исходники всего этого, но нужно немного почистить код; есть базовая лендинговая страница здесь https://kodfactory.com, если кто-то хочет получить уведомление, когда это будет опубликовано на GitHub. Да, я знаю, миру действительно нужна ещё одна фабрика программного обеспечения :-)