Project Arena - Вендор-нейтральный бенчмарк для AI SRE-агентов в Kubernetes
Show HN: AI SRE Arena, an Open Benchmark for AI SRE Agents on Kubernetes
Project Arena от Edge Delta — это открытый бенчмарк для тестирования AI-инструментов расследования инцидентов в Kubernetes. Он разворачивает одноразовый кластер, внедряет 21 сценарий сбоев, собирает записи расследований от любого продукта и оценивает их с помощью настраиваемого AI-судьи. В бенчмарке уже сравнены Edge Delta, Grafana и Claude: Claude с edx показал 90.5% точности определения корневой причины, а Edge Delta native — 85.7% обнаружения. Проект помогает объективно измерить, насколько хорошо AI-агенты диагностируют и устраняют инциденты.
Мы сравнили нативные AI-расследования Edge Delta, Grafana и Claude с их observability CLI на 21 сценарии инцидентов в Kubernetes — и все финальные расследования оценивались по одним и тем же фактам и рубрике с помощью GPT-6-Astra.
- smithclay
Больше бенчмарков, сравнивающих эффективность различных AI SRE, — это желанно и давно назрело: особенно сравнения вендор-против-вендора. Одна область, которая, как мне кажется, будет действительно интересной и важной, — это лучший способ эмуляции сложных IT-сред для evals.
Некоторую связанную работу рекомендую посмотреть:
- https://arxiv.org/abs/2609.33023 (новое на прошлой неделе!)
- https://github.com/SREGym/SREGym
- https://github.com/hyperdxio/hyperdx/tree/main/packages/hdx-... (версия Clickstack)
- https://github.com/grafana/o11y-bench (версия Grafana)
- nikhilunni
Круто, что вы, ребята, создали это, но интерпретируя результаты: почему бы мне просто не использовать Claude вместо инструмента AI SRE?
Или, если есть какие-то фичи инструмента AI SRE, которые делают его лучше, чем Claude + некоторые MCPs, должны ли они быть отражены в этом же бенчмарке?
- tkkiran
Круто, как я понимаю, ваш продукт реагирует проактивно, а не как Claude, который реактивен, так что с вашими инструментами автоматические расследования происходят без того, чтобы я явно спрашивал о проблеме и первопричине? У вас, ребята, также есть меры по устранению?