GitHub, HydraFusion으로 코딩 작업에 맞는 최적의 AI 모델을 자동 선택한다
Project HydraFusion: Frontier quality via multi-model orchestration
GitHub가 연구 프리뷰인 Project HydraFusion을 공개했습니다. HydraFusion은 단일 모델을 선택하는 대신, 작업을 분석해 여러 제공업체의 모델 중에서 초안 작성, 비평, 수정, 또는 더 강력한 모델로의 에스컬레이션을 포함한 최적의 실행 계획을 수립합니다. 벤치마크 평가에서 HydraFusion은 TerminalBench 2.1에서 Claude Opus 5 대비 품질은 4.9% 포인트 높이고 비용은 67% 절감했습니다. 이 프리뷰는 개발자가 GitHub Copilot에서 HydraFusion을 선택하면 자동으로 성능, 비용, 지연 시간을 최적화하는 워크플로우를 제공합니다.
우리는 코딩 에이전트의 다음 큰 발전이 프런티어 인텔리전스와 런타임 오케스트레이션의 결합에서 나올 것이라고 믿습니다.
HN 토론
28- gopalv
> 한 모델이 결과를 초안하고, 다른 모델 계열의 독립적인 읽기 전용 비평가가 이를 검토한다
여기서 핵심은 여러 모델 공급업체를 사용하는 것입니다. 캐스케이드 패턴에는 필요하지 않지만, 비평 패턴에는 필요합니다.
작년 11월, 제 팀은 OpenAI 모델을 사용하여 Anthropic 모델의 출력을 비평하는 것과 같은 공급업체에서 자기 검토 에이전트 루프를 실행하는 것의 차이에 대한 논문("Team of Rivals")을 썼습니다.
절제 실험[1]은 어느 한 회사만 사용하는 것보다 두 회사를 모두 사용하는 것이 더 낫다는 것을 증명했습니다.
이 논문은 "우리 회사가 Anthropic이 할 수 없는 일을 무엇을 합니까?"에 대한 일반적인 응답이었지만, 더 나아가 평가에서 60% 정도를 기록하는 모델로 90% 이상의 품질을 만드는 방법을 보여주는 데 있었습니다. (그리고 Gas Town 게시물은 이 논문에 대한 "이것은 영업 비밀이다"라는 논쟁을 풀어주었습니다.)
- Roark66
저는 그들의 결과에 의문을 제기합니다. 모델과 하네스 사이에 추가 소프트웨어를 넣으면 단일 벤치마크에서 최첨단 모델을 이기는 것은 그리 어렵지 않습니다.
이것은 또한 가중치를 사용할 수 있는 "네이키드 모델"과 제공업체가 내부에서 원하는 대로 할 수 있는 프론티어 모델을 비교하는 것이 불공정한 이유이기도 합니다.
구체적으로, Qwen3.8-27B를 SWEbench Pro와 Terminal Bench 2.0에서 10% 더 높은 점수를 얻도록 만드는 데 필요한 것은 다음과 같은 기본 기능만 갖춘 프록시뿐이었습니다:
- 약간 더 높은 온도와 같은 디코딩 설정 몇 가지 조정
- 모델이 막혔을 때 감지하고 "계속하세요"라고 지시
- 중간에 잘린 응답, 추론만 포함된 빈 응답, 검증을 통과하지 못하는 형식 등을 감지하고 모델에게 "더 잘 시도하세요"라고 지시
그리고 그것뿐입니다. 10% 더 높습니다. 작업의 하위 집합에서만 그렇다는 것은 인정하지만, 결과는 결과입니다. 하위 집합에서도 말이죠.
- guybedo
저는 워크플로우의 많은 계획, 솔루션 설계 및 구현 단계에서 적대적 비평과 리뷰를 사용해 왔습니다.
그것은 매우 효과적이며 많은 설계 결함, 구현 누락 등을 잡아내는 데 도움이 되어서, 사람들이 이런 과정 없이 에이전트로 복잡하거나 큰 프로젝트를 어떻게 구축하는지 궁금할 정도입니다. 음, 사실 좋은 결과를 얻지 못해서 이 방법을 찾아야 했기 때문에 이걸 만들었습니다.
전체를 오픈소스로 공개할 예정이지만 정리가 좀 필요합니다. GitHub에 공개될 때 알림을 받고 싶은 분들을 위해 기본 랜딩 페이지가 여기 있습니다: https://kodfactory.com. 네, 알아요. 세상에 또 다른 소프트웨어 팩토리가 정말 필요하죠 :-)