GitHub, HydraFusion으로 코딩 작업에 맞는 최적의 AI 모델을 자동 선택한다

> 한 모델이 결과를 초안하고, 다른 모델 계열의 독립적인 읽기 전용 비평가가 이를 검토합니다.

여기서 핵심은 여러 모델 공급업체입니다. 캐스케이드 패턴은 그럴 필요가 없지만, 비평 패턴은 필요합니다.

지난 11월에 저희 팀은 OpenAI 모델을 사용하여 Anthropic 모델의 출력을 비평하는 것과 동일한 공급업체에서 자기 검토 에이전트 루프를 실행하는 것의 차이에 대한 논문("Team of Rivals")을 작성했습니다.

절제 연구[1]는 어느 한 회사만 사용하는 것이 둘 다 사용하는 것보다 낫지 않다는 것을 증명했습니다.

이 논문은 "우리 회사는 Anthropic이 할 수 없는 무엇을 하는가?"에 대한 일반적인 응답이었지만, 더 나아가 60% 정도로 평가되는 모델로 90% 이상의 성능을 만드는 방법을 보여주는 데 있었습니다. (그리고 Gas Town 게시물이 논문에 대한 "이것은 영업 비밀이다"라는 논쟁을 해제했습니다.)

[1] - https://github.com/t3rmin4t0r/critique-evals

저는 그들의 결과에 의문을 제기합니다. 모델과 하네스 사이에 추가 소프트웨어를 두면 단일 벤치마크에서 프론티어를 이기는 것은 그리 어렵지 않습니다.

이것은 또한 가중치를 사용할 수 있는 "네이키드 모델"과 제공자가 배후에서 원하는 대로 할 수 있는 프론티어를 비교하는 것이 불공정한 이유이기도 합니다.

구체적으로, Qwen3.8-27B를 SWEbench Pro와 Terminal Bench 2.0에서 10% 더 높은 점수를 얻도록 부스트하는 데 필요한 것은 다음과 같은 기본 기능만 갖춘 프록시뿐이었습니다:

- 약간 더 높은 온도와 같은 몇 가지 디코딩 설정 조정

- 모델이 막혔을 때 감지하고 "계속하세요"라고 지시

- 중간에 잘린 응답, 추론만 포함된 빈 응답, 검증을 통과하지 못하는 형식 등을 감지하고 "더 잘 시도하세요"라고 지시

그리고 그것뿐입니다. 10% 더 높습니다. 작업의 하위 집합에 대해서는 인정하지만, 결과는 결과입니다. 하위 집합에서도 말이죠.

올해 본 프로젝트 이름 중 최악이네요.

저는 워크플로우의 많은 계획, 솔루션 설계 및 구현 단계에서 적대적 비평과 리뷰를 사용해 왔습니다.

그것은 매우 효과적이고 많은 설계 결함, 구현 누락 등을 잡는 데 도움이 되어서, 사람들이 이런 과정 없이 에이전트로 복잡하고 큰 프로젝트를 어떻게 구축하는지 궁금합니다. 음, 사실 좋은 결과를 얻지 못해서 이런 것을 만들었습니다.

전체를 오픈소스로 공개할 예정이지만 정리가 필요합니다. 기본 랜딩 페이지는 https://kodfactory.com에 있습니다. GitHub에 출시될 때 알림을 받고 싶은 분이 있으면요. 네, 알겠습니다. 세상에 또 다른 소프트웨어 팩토리가 정말 필요합니다 :-)