LLM 없이 Jev만으로 SRE 진단, 21개 장애 중 16개 완벽 통과

Jev-Driven SRE Diagnosis: What Worked and What Failed

LLM 없이 Jev만으로 SRE 진단, 21개 장애 중 16개 완벽 통과

SREGym 팀이 LLM 에이전트 없이 Jev만으로 클러스터 장애를 진단하는 파이프라인을 공개했다. 프로그램이 Kubernetes 객체, 이벤트, 로그를 수집해 Jev에 전달하면, Jev가 근본 원인과 증거를 선택한다. 21개 장애에 대한 105회 진단 중 80회(76.2%)가 통과했고, 중간 진단 시간은 14.6초, 추정 비용은 0.15달러에 불과했다. 21개 중 16개는 5회 모두 통과했지만 5개는 모두 실패해 일관된 결과를 보였다.

Jev는 제공된 선택지 중에서 답을 고른다. 명령을 생성하거나 최종 보고서를 작성하지는 않는다.
  1. clintonb

    > 궁극적으로 우리는 Jev 기반 진단을 SRE 에이전트의 워크플로에 통합하는 것이 System One과 System Two 모델을 효과적으로 결합하는 중요한 단계라고 믿습니다.

    왜요? 최종 목표가 뭔가요? 비용 절감? 더 빠른 분석?

    저는 Slack을 통해 페이지에 응답하도록 에이전트를 구성했습니다. 이 에이전트는 ClickStack(텔레메트리용), Kubernetes, GitHub에 접근할 수 있습니다. Sonnet 모델 중 하나를 실행합니다. 비용이 너무 낮아서 하루에 12개 미만의 페이지(대부분 매우 민감한 오류 카운트 알람에서 발생)에 응답하는데, Jev로 바꾸는 건 전혀 말이 안 됩니다. 특히 결과가 덜 신뢰할 만하다면 더욱 그렇습니다.

  2. beebmam

    제가 보기에는 Jev는 입력 컨텍스트가 적은 상태에서 많은 빠른 결정을 내려야 할 때를 위해 설계된 것 같습니다. SRE 업무는 아마도 입력 컨텍스트가 많은 상태에서 내려야 하는 아주 적은 수의 중요한 결정에 가장 적합할 겁니다.

  3. amne

    저는 로컬 "AI" 음성 제어 장치에 결정 모델로 전환했습니다. faster-whisper가 텍스트를 생성하면 onnx가 내 모든 HA 엔티티에 점수를 매겨 내가 말하는 것이 무엇인지 판단합니다. 그런 다음 모든 액션을 나열하고 두 번째 점수 매기기 라운드로 내가 원하는 액션을 결정합니다. "잔디에 10분 동안 물 줘" 같은 말을 할 때 숫자를 추출하는 정규식도 좀 있습니다. LLM이 할 수 있는 것과 비교하면 꽤 멍청하지만, 이제 levenshtein이나 그런 조잡한 알고리즘에 의존하지 않고 "손끝에서" 의미론적 점수 매기기를 할 수 있다는 걸 생각하면 얼마나 똑똑해 보이는지 미칠 지경입니다.

    그리고 뻔한 질문에 답하자면: 지연 시간 때문입니다. 이 물건은 2001년산 8GB 램 노트북에서 100ms 이내에 조명이나 급수 밸브를 켭니다. 전부 노트북에서 로컬로 실행됩니다.

이 날의 다른 글

2026-10-07