Parsimony - Open-source benchmark for AI code addition
Show HN: Parsimony – an open-source benchmark for how much code AI models add
Parsimony — это открытый бенчмарк, который измеряет, сколько кода добавляют AI-модели при решении задач. В отличие от существующих метрик, он считает не строки, а coding units (синтаксические элементы), вычитая удалённый код. Это позволяет оценить, насколько экономно модель изменяет кодовую базу. Бенчмарк использует патчи из SWE-bench Verified и ранжирует модели по среднему чистому приросту units. Проект помогает разработчикам выбирать AI-ассистентов, которые не раздувают код. Можно добавить свои данные и получить визуализацию.
Существующие бенчмарки измеряют solve rate и стоимость, но не наказывают за избыточный код, который усложняет работу с кодовой базой в долгосрочной перспективе. Parsimony измеряет, сколько кода добавляют AI-модели.