Jev diagnostiziert 76 % der SRE-Faults in 14,6 Sekunden – ganz ohne LLM-Agent
Jev-Driven SRE Diagnosis: What Worked and What Failed
SREGym hat eine Jev-gesteuerte Diagnose-Pipeline ohne LLM-Agent getestet. Ein programmatischer Collector sammelt Kubernetes-Evidenz und übergibt sie an Jev, das aus vorgegebenen Optionen die wahrscheinliche Ursache wählt. Bei 21 SREGym-Lite-Faults bestanden 80 von 105 Diagnosen (76,2 %), die mediane Diagnosezeit lag bei 14,6 Sekunden. Die Ergebnisse waren bemerkenswert konsistent: Jeder Fault bestand entweder alle fünf Versuche oder keinen. Die Pipeline kostete geschätzt 0,15 US-Dollar.
Die Ergebnisse waren ungewöhnlich konsistent. Bei jedem Fault bestanden entweder alle fünf Versuche oder alle fünf scheiterten.
- clintonb
> Letztendlich glauben wir, dass die Integration von Jev-gesteuerter Diagnose in den Workflow eines SRE-Agenten ein bedeutender Schritt zur effektiven Kombination von System-One- und System-Two-Modellen ist.
Warum? Was ist das Endziel? Geringere Kosten? Schnellere Analyse?
Ich habe einen Agenten konfiguriert, der auf Pages über Slack reagiert. Er hat Zugriff auf ClickStack (für Telemetrie), Kubernetes und GitHub. Er führt eines der Sonnet-Modelle aus. Die Kosten sind so niedrig, dass die Reaktion auf weniger als ein Dutzend Pages pro Tag (hauptsächlich von einem sehr empfindlichen Fehlerzähler-Alarm) so gering sind, dass ein Wechsel zu Jev absolut keinen Sinn ergibt. Das gilt besonders, wenn die Ergebnisse weniger vertrauenswürdig sind.
- beebmam
Mir scheint, Jev ist für Situationen gedacht, in denen viele schnelle Entscheidungen mit geringem Eingabekontext getroffen werden müssen. SRE-Arbeit eignet sich wahrscheinlich am besten für sehr wenige kritische Entscheidungen, die mit hohem Eingabekontext getroffen werden müssen.
- amne
Ich bin für mein lokales "KI"-Sprachsteuerungsding auf ein Entscheidungsmodell umgestiegen. faster-whisper erzeugt den Text, dann bewertet onnx alle meine HA-Entitäten, um festzustellen, über welche ich spreche. Danach listet es alle seine Aktionen auf und eine zweite Bewertungsrunde bestimmt, welche Aktion ich möchte. Einige Regex-Ausdrücke extrahieren Zahlen, wenn ich Dinge sage wie "den Rasen 10 Minuten lang wässern". Es ist ziemlich dumm im Vergleich zu dem, was ein LLM kann, aber wenn man bedenkt, dass man jetzt semantische Bewertung "direkt zur Hand" hat, ohne auf Levenshtein oder andere grobe Algorithmen dieser Art zurückzugreifen, ist es verrückt, wie intelligent es wirken kann.
Und um die naheliegende Frage zu beantworten: wegen der Latenz. Das Ding schaltet das Licht oder das Wasser ventil in unter 100 ms auf einem Laptop von 2001 mit 8 GB RAM ein – alles lokal auf dem Laptop laufend.