Jev диагностирует сбои в Kubernetes без LLM-агента: 76% точных диагнозов за 14.6 секунды
Jev-Driven SRE Diagnosis: What Worked and What Failed
Исследователи из SREGym представили конвейер диагностики, в котором Jev без LLM-агента выбирает вероятную первопричину сбоя из собранных программным способом данных кластера. На 21 сценарии SREGym-Lite конвейер прошёл 80 из 105 диагнозов (76.2%) со средней задержкой 14.6 секунды. Jev не генерирует команды и не пишет отчёт — он лишь выбирает из предложенных вариантов, что делает диагностику быстрой и дешёвой.
Jev отвечает на вопросы, выбирая из предложенного набора вариантов. Чтобы использовать его для диагностики, нам нужно предоставить как доказательства, так и возможные ответы.
- clintonb
> В конечном счете, мы считаем, что включение диагностики на основе Jev в рабочий процесс SRE-агента — значительный шаг к эффективному объединению моделей System One и System Two.
Зачем? Какова конечная цель? Снизить стоимость? Ускорить анализ?
Я настроил агента для реагирования на оповещения через Slack. У него есть доступ к ClickStack (для телеметрии), Kubernetes и GitHub. Он работает на одной из моделей Sonnet. Стоимость настолько низкая при обработке менее дюжины оповещений в день (в основном из-за очень чувствительной сигнализации по количеству ошибок), что замена на Jev не имеет никакого смысла. Особенно если результаты менее надежны.
- beebmam
Мне кажется, Jev предназначен для случаев, когда нужно принимать множество быстрых решений с малым входным контекстом. Работа SRE, вероятно, лучше всего подходит для очень небольшого числа критических решений, которые нужно принять, с большим входным контекстом.
- amne
Я перешел на модель принятия решений для своей локальной штуки с голосовым управлением «ИИ». faster-whisper выдает текст, затем onnx оценивает все мои сущности HA, чтобы определить, о какой из них я говорю... затем он перечисляет все свои действия и второй раунд оценки, чтобы определить, какое действие я хочу. Немного regex для извлечения чисел, если я говорю что-то вроде «поливай газон 10 минут». По сравнению с тем, что может LLM, это довольно тупо, но учитывая, что теперь у тебя есть семантическая оценка «под рукой» без необходимости прибегать к расстоянию Левенштейна или другим подобным грубым алгоритмам, это безумно, насколько умным это может выглядеть.
И чтобы ответить на очевидный вопрос: из-за задержки. Эта штука включает свет или водяной клапан менее чем за 100 мс на ноутбуке 2001 года с 8 ГБ оперативки... и все работает локально на ноутбуке.