Jev diagnostica fallos de Kubernetes sin ningún agente LLM y acierta el 76% en 14,6 segundos
Jev-Driven SRE Diagnosis: What Worked and What Failed
El equipo de SREGym probó un pipeline de diagnóstico de incidencias en Kubernetes que no usa ningún agente LLM: un recolector programático reúne evidencias del clúster y Jev elige la causa raíz entre opciones predefinidas. Sobre 21 fallos de SREGym-Lite, el sistema superó 80 de 105 diagnósticos (76,2%), con una mediana de 14,6 segundos y un coste estimado de inferencia de 0,15 dólares. Los resultados fueron muy consistentes: en cada fallo, o pasaban los cinco intentos o fallaban todos.
El recolector hizo un trabajo diagnóstico sustancial: encontró la diferencia entre el Pod y su plantilla y redujo los candidatos de webhook. Jev eligió el componente afectado y la evidencia que debía enviarse.
- clintonb
> En última instancia, creemos que incorporar el diagnóstico impulsado por Jev en el flujo de trabajo de un agente SRE es un paso significativo hacia la combinación efectiva de los modelos System One y System Two.
¿Por qué? ¿Cuál es el objetivo final? ¿Menor coste? ¿Análisis más rápido?
Configuré un agente para responder a páginas vía Slack. Tiene acceso a ClickStack (para telemetría), Kubernetes y GitHub. Ejecuta uno de los modelos Sonnet. El coste es tan bajo, respondiendo a menos de una docena de páginas al día (la mayoría de una alarma de recuento de errores muy sensible), que cambiar a Jev no tiene ningún sentido. Esto es especialmente cierto si los resultados son menos fiables.
- beebmam
A mí me parece que Jev está diseñado para cuando hay que tomar muchas decisiones rápidas, con poco contexto de entrada. El trabajo de SRE probablemente se adapta mejor a muy pocas decisiones críticas que hay que tomar, con mucho contexto de entrada.
- amne
Me pasé a un modelo de decisión para mi cosita local de control de voz "IA". faster-whisper produce el texto y luego onnx puntúa todas mis entidades de HA para determinar de cuál estoy hablando... luego enumera todas sus acciones y una segunda ronda de puntuación para determinar qué acción quiero. algo de regex para extraer números si digo cosas como "riega el césped durante 10 minutos". Es bastante tonto comparado con lo que puede hacer un LLM, pero teniendo en cuenta que ahora tienes puntuación semántica "a tu alcance" sin recurrir a levenshteins u otros algoritmos crudos por el estilo, es una locura lo listo que puede parecer.
Y para responder a la pregunta obvia: por la latencia. Esta cosa enciende la luz o la válvula de agua en menos de 100 ms en un portátil de 2001 con 8 GB de RAM... todo ejecutándose localmente en el portátil.