Project HydraFusion: GitHub Copilot orchestriert mehrere KI-Modelle für Spitzenqualität
Project HydraFusion: Frontier quality via multi-model orchestration
GitHub stellt Project HydraFusion vor, eine Research-Preview-Funktion für GitHub Copilot, die Aufgaben automatisch an mehrere KI-Modelle verschiedener Anbieter verteilt. HydraFusion wählt je nach Aufgabe einen von drei Workflows: direktes Lösen durch ein Modell, Kaskadierung von einem effizienten zu einem stärkeren Modell oder einen Kritikprozess mit unabhängiger Überprüfung. In Offline-Benchmarks erzielte HydraFusion nahezu Spitzenqualität bei deutlich geringeren Kosten – etwa auf TerminalBench 2.1 eine um 4,9 Prozentpunkte höhere Qualität bei 67 % geringeren Kosten im Vergleich zu Claude Opus 5. Die Funktion ist als Research-Preview verfügbar.
Wir glauben, dass der nächste echte Fortschritt bei Coding-Agents aus der Kombination von Frontier-Intelligenz mit Laufzeit-Orchestrierung entstehen wird.
- gopalv
Ein Modell entwirft ein Ergebnis, ein unabhängiger, nur lesender Kritiker aus einer anderen Modellfamilie überprüft es.
Mehrere Modellanbieter sind hier der Schlüssel – das Kaskadenmuster braucht das nicht, aber das Kritikmuster schon.
Letzten November hat mein Team ein Paper ("Team of Rivals") über den Unterschied zwischen der Verwendung eines OpenAI-Modells zur Kritik an der Ausgabe eines Anthropic-Modells und einer Selbstüberprüfungsschleife desselben Anbieters geschrieben.
Die Ablationen [1] bewiesen, dass kein Unternehmen allein besser war als die Kombination beider.
Das Paper war eine allgemeine Antwort auf "Was macht Ihr Unternehmen, das Anthropic nicht kann?", aber mehr noch eine Demonstration, wie man etwas zu 90 %+ gut macht mit Modellen, die bei etwa 60 % bewertet werden (& der Gas-Town-Beitrag hat unser "Das ist ein Geschäftsgeheimnis"-Argument über das Paper entblockt).
- Roark66
Ich stelle ihre Ergebnisse in Frage. Es braucht nicht viel, um die Spitzenreiter in einzelnen Benchmarks zu schlagen, wenn man zusätzliche Software zwischen das Modell und die Testumgebung setzt.
Dies ist auch ein Grund, warum der Vergleich von "nackten Modellen", für die Gewichte verfügbar sind, und Spitzenmodellen, bei denen Anbieter hinter den Kulissen tun können, was sie wollen, unfair ist.
Konkret genügte es, um Qwen3.8-27B mit einem Proxy, der nur diese Grundlagen hat, um 10 % mehr Punkte auf SWEbench Pro und Terminal Bench 2.0 zu bringen:
- ein paar Decode-Einstellungen zu optimieren, wie eine etwas höhere Temperatur
- zu erkennen, wenn das Modell feststeckt, und ihm zu sagen, es solle "weitermachen"
- Antworten zu erkennen, die mitten im Satz abgeschnitten sind, leere Antworten, die nur Denkprozesse enthalten, Formate, die die Verifizierung nicht bestehen usw., und dem Modell zu sagen, es solle "es besser versuchen"
Und das war's. 10 % mehr. Ich gebe zu, bei einer Teilmenge von Aufgaben, aber Ergebnisse sind Ergebnisse, auch bei einer Teilmenge.
- guybedo
Ich habe gegnerische Kritik und Überprüfungen für viele Planungs-, Lösungsdesign- und Implementierungsschritte in Workflows verwendet.
Es ist so effektiv und hilft, so viele Designfehler, Implementierungslücken usw. zu erkennen ... dass ich mich frage, wie Menschen komplexe/große Projekte mit Agenten ohne diese Art von Prozess aufbauen. Nun, ich habe dieses Ding tatsächlich gebaut, weil ich keine guten Ergebnisse erzielen konnte, also musste ich einen Weg finden.
Ich werde das Ganze als Open Source veröffentlichen, aber es muss etwas aufgeräumt werden. Es gibt eine einfache Landingpage hier https://kodfactory.com, falls jemand benachrichtigt werden möchte, wenn es auf GitHub veröffentlicht wird. Ja, ich weiß, die Welt braucht wirklich noch eine Softwarefabrik :-)