Jev fragt Opus um Hilfe und erreicht dessen Genauigkeit zu einem Viertel der Kosten
A Jev that can ask Opus for help gives Opus accuracy at 4x lower cost
Hightouch testet, ob kleine Entscheidungsmodelle wie Jev und GPT-6 Luna die Identitätsauflösung – also das Zusammenführen von Datensätzen zu realen Personen – zuverlässig bewerten können. Beide erreichen allein 95,6 bis 97,3 Prozent Genauigkeit, liegen aber unter den Frontier-Modellen. Ein Hybrid aus Jev und Claude Opus erzielt Frontier-Genauigkeit bei über vierfach niedrigeren Kosten, weil Jev seine Unsicherheit deutlich besser kalibriert als Luna.
Die meisten Fehler von Jev gehen mit geringer Konfidenz einher, obwohl es richtig liegt. Die meisten Fehler von Luna gehen mit hoher Konfidenz einher.
- xlayn
Wenn du Qwen3.8 27B einsetzt, um zu verwalten, zu orchestrieren, oberflächliche Recherche zu betreiben und es dann Claude fragen lässt, wirst du feststellen, dass Qwen von Haiku, Sonnet und Opus fast genauso gute Antworten bekommen kann ... Ich habe untersucht, wie gut die Antworten des Modells waren; ich kann mit nichts außer Fable arbeiten, aber Qwen kann von allen gute Arbeit bekommen.
Meine Theorie ist, dass Qwen, wenn du es dazu bringst, dich zu verstehen, so viel ausarbeiten kann wie nötig, damit jedes dieser Modelle gute Ergebnisse liefert, weil es Details ergänzt.
Also bekommt man mit Qwen zur Steuerung von Claude auch erstaunliche Ergebnisse, und das viel, viel günstiger ...
Update: Lass mich weiter ausführen: Ich habe den HN-Eintrag über das Team von 5 Qwens gelesen, das nahe an Fable-Qualität sein soll ... also habe ich mich daran gemacht, es zu meinem Harness hinzuzufügen (https://github.com/alainnothere/privibe, denn wir haben doch alle eins, oder?) und sobald ich das Orchestrate-Tool hinzugefügt hatte, musste ich irgendwie messen, ob es die Qualität verbessern kann. Also habe ich Claude und dann Qwen gebeten, ein Experiment durchzuführen, um mein Harness aufzurufen, das zu verwendende Modell zu übergeben und sie zu bitten, etwas zu tun, ich glaube 3 Runden, und zu sehen, welche Qualität dabei herauskam ... und laut der Bewertung waren sich Qwen und Claude einig, dass die Qualität der Antwort, die aus dem Harness mit dem Orchestrate herauskam, SEHR NAH beieinander lag, wobei Opus und Fable mehr „meiner Meinung nach solltest du“ lieferten, was meiner Erfahrung entspricht, warum sie besser sind.
Noch ein Update: Ich kann Copilot-Modelle nicht anständig zum Laufen bringen, es könnte an meiner Arbeitsweise liegen ... aber ich kann Qwen dazu bringen, dem zu folgen, was ich versuche ... wenn Qwen mich versteht, bekomme ich c […]
- vouwfietsman
Alle diskutieren über die Technik, aber ist euch klar, dass sie es mit KI einfacher gemacht haben, Kartendaten realen Personen zuzuordnen? Das ist im Wesentlichen KI-gestützte Verletzung der Privatsphäre, viermal günstiger.
Leute, bitte versucht zu verstehen, was ihr da baut. Baut es nicht einfach wie verlangt!
- netshade
Habe ähnliche Ergebnisse gefunden, aber die Ökonomie der beteiligten Modelle hat sich so schnell verändert, dass es sehr aufgabenspezifisch ist, was die richtige Vorgehensweise war.
Mit einer Zusammenstellung von Modellen wie Jev + Opus oder Jev + Qwen traf Jev oft die richtige Entscheidung, wenn es darum ging, zu einem anderen Modell zu eskalieren – ich war beeindruckt, dass es normalerweise die richtige Wahl traf, besonders wenn man ihm ein gutes Bewusstsein für die Fähigkeiten des anderen Modells gab. „ESKALIERE zu Opus, wenn du gute Bilderkennung brauchst.“
Als Haiku 5.5 herauskam, verschwanden die Kostenunterschiede für meine Aufgaben jedoch fast sofort. Haiku war für so viele Dinge gut genug / schnell genug, dass eine Entscheiderschicht keine großen Vorteile bot. Jevs Leistung auf „Millisekunden“-Niveau war nett, wurde aber von anderen Latenzen in meiner Kette (Webbrowsing) in den Schatten gestellt, sodass es bei meinen Aufgaben keinen messbaren Unterschied machte.
- nico
Das ist sehr cool. Aber es ist auch ein Benchmark/Ergebnis für ein sehr spezifisches Experiment/eine sehr spezifische Aufgabe: Identitätsauflösung.
Trotz des Titels macht der Artikel keine Behauptungen über oder Demonstrationen von allgemeinen Verbesserungen der Nutzung oder allgemeinen Verbesserungen von Coding-Agenten.
- Fordec
Solche Dinge lassen mich glauben, dass entscheidungsmodellgesteuerter/priorisierter Kontext die Zukunft des Kontextmanagements jenseits der rohen AGENTS.md-Datei ist.
Warum sollte man einem Agenten den gesamten Kontext geben, wenn der Kontext auch automatisch für jedes neue Problem kuratiert, aktualisiert und prägnant gemacht werden kann?
- gbrindisi
Hervorragende Lektüre. Ich verwende denselben hybriden Ansatz für viele Security-Engineering-Arbeiten und er funktioniert nach anfänglichen Kalibrierungen gut, zum Beispiel haben wir für unser eigenes Harness den Auto-Modus genau so neu gebaut, um Tool-Aufrufe und Absichten zu beurteilen.
- pcwelder
Es gibt einen Fehler in deiner Interpretation der Kalibrierungsgraphen, und die Schlussfolgerung, dass Jev besser kalibriert ist als Luna, ist wahrscheinlich falsch. Oder zumindest reichen die Graphen nicht aus, um das in die eine oder andere Richtung zu schließen.
Ich habe die tatsächlichen Daten nicht, aber basierend auf den Graphen schätze ich, dass der erwartete Kalibrierungsfehler für Luna bei beiden Aufgaben 2-3 % niedriger ist.
Es stimmt, dass Luna viele Werte mit hoher Konfidenz zu liefern scheint, aber sie hat auch öfter recht. Eine höhere Anzahl von Fehlern bei hoher Konfidenz ist an sich nicht unerwünscht, wenn die Erfolgsquote ebenfalls hoch ist. Es wäre gut, wenn sie die tatsächliche ECE berichten würden.
>Die meisten von Jevs Fehlern liegen näher an 50 % Konfidenz, was man von einem gut kalibrierten Modell erwarten würde.
Diese Aussage ist ebenfalls falsch.
- muddi900
Wenn du dir große Kategorisierungs- und Parsing-Arbeiten ansiehst, kann die Verwendung eines lokalen Entscheidungsmodells und die Übergabe an Haiku oder Luna deine Token-Kosten wirklich senken.