Project HydraFusion: GitHub Copilot orchestriert mehrere KI-Modelle für Spitzenqualität
Project HydraFusion: Frontier quality via multi-model orchestration
GitHub stellt Project HydraFusion vor, eine Research-Preview-Funktion für GitHub Copilot, die Aufgaben automatisch an mehrere KI-Modelle verschiedener Anbieter verteilt. HydraFusion wählt je nach Aufgabe einen von drei Workflows: direktes Lösen durch ein Modell, Kaskadierung von einem effizienten zu einem stärkeren Modell oder einen Kritikprozess mit unabhängiger Überprüfung. In Offline-Benchmarks erzielte HydraFusion nahezu Spitzenqualität bei deutlich geringeren Kosten – etwa auf TerminalBench 2.1 eine um 4,9 Prozentpunkte höhere Qualität bei 67 % geringeren Kosten im Vergleich zu Claude Opus 5. Die Funktion ist als Research-Preview verfügbar.
Wir glauben, dass der nächste echte Fortschritt bei Coding-Agents aus der Kombination von Frontier-Intelligenz mit Laufzeit-Orchestrierung entstehen wird.
- hdz
Wenn du ein Copilot-CLI-Benutzer bist (wir existieren), weißt du, dass der Auto-Modus zu wünschen übrig lässt. Er wechselt die Modelle nur zu Beginn einer Sitzung oder nach einer Komprimierung. Die meisten Entwicklungsaufgaben sind jetzt stark subagentenlastig, und es gibt kein Modell-Routing für die Subagenten.
Mir ist aufgefallen, dass in den Vergleichen keine Anstrengungsstufen erwähnt werden. 5.6 Luna Max ist wirklich gut und wirklich günstig. Ein 5.6 Sol High-Orchestrator mit 5.6 Luna Max ist günstig, hat Leistung auf Frontier-Niveau und ist schneller als Sol allein. Das kann mit einfachen Agentenanweisungen erreicht werden. Ich freue mich darauf, meine eigenen Benchmarks mit HydraFusion zu laufen zu lassen, um zu sehen, wie es abschneidet. Vorbei sind die Zeiten, in denen ein einziges Modell die gesamte Arbeit erledigt hat, es sei denn, die Arbeit erfordert keine Tool-Aufrufe.
- gopalv
> Ein Modell entwirft ein Ergebnis, ein unabhängiger, schreibgeschützter Kritiker aus einer anderen Modellfamilie überprüft es
Mehrere Modellanbieter sind hier entscheidend – das Kaskadenmuster benötigt das nicht, aber das Kritikmuster schon.
Letzten November hat mein Team ein Paper ("Team of Rivals") über den Unterschied zwischen der Verwendung eines OpenAI-Modells zur Kritik an der Ausgabe eines Anthropic-Modells und der Durchführung einer Selbstüberprüfungsschleife mit demselben Anbieter geschrieben.
Die Ablationen [1] haben bewiesen, dass keines der Unternehmen allein besser war als die Kombination beider.
Das Paper war eine allgemeine Antwort auf "Was macht euer Unternehmen, das Anthropic nicht kann?", aber mehr noch eine Demonstration, wie man etwas macht, das zu 90 %+ gut ist, mit Modellen, die bei etwa 60 % bewertet werden (& der Gas-Town-Beitrag hat unser "Das ist ein Geschäftsgeheimnis"-Argument über das Paper entkräftet).
- Roark66
Ich hinterfrage ihre Ergebnisse. Es braucht nicht viel, um die Frontier-Modelle in einzelnen Benchmarks zu schlagen, wenn man zusätzliche Software zwischen das Modell und die Testumgebung setzt.
Das ist auch ein Grund, warum der Vergleich von "nackten Modellen", deren Gewichte verfügbar sind, mit Frontier-Modellen, bei denen die Anbieter hinter den Kulissen tun können, was sie wollen, unfair ist.
Konkret: Alles, was nötig war, um Qwen3.8-27B mit einem Proxy, der nur diese Grundlagen hat, um 10 % mehr Punkte auf SWEbench Pro und Terminal Bench 2.0 zu bringen:
- optimiert ein paar Decode-Einstellungen wie eine leicht höhere Temperatur
- erkennt, wenn das Modell feststeckt, und sagt ihm, es soll "weitermachen"
- erkennt abgeschnittene Antworten in der Mitte, leere Antworten, die nur Reasoning enthalten, Formate, die die Verifikation nicht bestehen usw., und sagt dem Modell, es soll "es besser versuchen"
Und das ist alles. 10 % mehr. Ich gebe zu, auf einer Teilmenge von Aufgaben, aber Ergebnisse sind Ergebnisse, auch auf einer Teilmenge.
- zatkin
Das ist mit Abstand der schlechteste Projektname, den ich dieses Jahr gesehen habe.
- guybedo
Ich habe adversarial critique und Reviews für viele Planungs-, Lösungsdesign- und Implementierungsschritte in Workflows verwendet.
Es ist so effektiv und hilft, so viele Designfehler, Implementierungslücken usw. zu erkennen, dass ich mich frage, wie Leute komplexe/große Projekte mit Agenten ohne diese Art von Prozess bewältigen. Nun, ich habe dieses Ding tatsächlich gebaut, weil ich keine guten Ergebnisse erzielen konnte, also musste ich einen Weg finden.
Ich werde das Ganze als Open Source veröffentlichen, aber es muss noch etwas aufgeräumt werden. Es gibt eine einfache Landingpage hier https://kodfactory.com, falls jemand benachrichtigt werden möchte, wenn es auf GitHub veröffentlicht wird. Ja, ich weiß, die Welt braucht wirklich noch eine weitere Software-Fabrik :-)