Jevstiller - Lokale Modell-Destillation mit Agreement-Garantie
Show HN: Jevstiller – Distill Jev into a local model, with a disagreement bound
Jevstiller lernt aus den Antworten von Jev ein kleines lokales Modell, das die meisten Klassifikationen in etwa 15 ms auf einer CPU beantwortet, statt 300 ms pro Netzwerkaufruf. Der Clou: Sie legen eine Zielübereinstimmung fest, z. B. 98 %, und Jevstiller garantiert mit mindestens 95 % Wahrscheinlichkeit, dass die Antworten auf diesem Anteil der Anfragen mit Jev übereinstimmen. Ein permanenter Audit erkennt Drift und startet das Training neu, wenn sich Jev ändert. Ideal für Agenten-Loops, Spiele oder jede Pipeline, die klassifiziert und dann handelt.
Legen Sie eine Zahl fest, sagen wir 98 %. Jevstiller gibt das Label zurück, das Jev auf mindestens diesem Anteil der Anfragen zurückgegeben hätte.
- gingersnap
Ist das lokale Modell ähnlich wie model2vec?
- tgluck
Autor hier. Das setzt einen Proxy vor wiederholte Jev-Klassifizierungsaufrufe. Zuerst geht alles an Jev; aus Jevs Antworten trainiert es einen kleinen Head auf eingefrorenen Sentence-Embeddings, wählt einen Konfidenzschwellenwert mit einer exakten Finite-Sample-Schranke, sodass höchstens 2 % aller Anfragen eine Antwort bekommen, die Jev nicht gegeben hätte, und beantwortet dann den zuversichtlichen Anteil lokal in ~15 ms auf einer CPU. Ein permanentes 2-%-Audit prüft weiter; wenn die Übereinstimmung bricht, fällt alles auf Jev zurück und es wird neu trainiert.
Bekannte Grenzen: Übereinstimmung ist nicht Genauigkeit (wenn Jev falsch liegt, liegt auch das lokale Modell falsch); die Abdeckung folgt, wie konsistent Jev selbst ist (22 % bei verrauschten Tweet-Aufgaben, 80 % bei Nachrichten); es spricht nur Jevs API, ein OpenAI-kompatibles Frontend ist auf der Roadmap. Seit 0.4.0 kann die Garantie auch abdecken, ob Jev unsicher gewesen wäre, was wichtig ist, wenn dein Code Antworten mit niedriger Konfidenz zur Überprüfung weiterleitet. Apache 2.0.