Parsimony - AI 코드 생성량 측정 오픈소스 벤치마크

Show HN: Parsimony – an open-source benchmark for how much code AI models add

Parsimony는 AI 코딩 에이전트가 얼마나 많은 코드를 추가하는지 측정하는 오픈소스 벤치마크입니다. 기존 벤치마크가 해결률과 비용만 평가하는 반면, Parsimony는 코드 크기를 평가하여 장기적인 유지보수성을 강조합니다. 문법 요소(문장, 호출, 비교, 이름, 리터럴)를 코딩 단위로 계산하고, 삭제된 코드는 차감하여 순 추가 단위를 산출합니다. SWE-bench Verified 결과를 기반으로 모델을 순 추가 단위가 낮은 순으로 순위를 매기며, Python만 측정합니다. 자신의 벤치마크 결과를 추가하여 동일한 차트와 표를 얻을 수 있습니다.