Parsimony - AIコーディングエージェントのコード追加量を測るオープンソースベンチマーク

Show HN: Parsimony – an open-source benchmark for how much code AI models add

Parsimonyは、AIモデルがコードベースにどれだけ余分なコードを追加するかを測定するオープンソースベンチマークです。既存のベンチマークは解決率とコストを測りますが、過剰なコードを罰しません。Parsimonyは、公開されているパッチを解析し、ステートメントや関数呼び出しなどの構文要素を「コーディングユニット」としてカウントします。行数ではなく、削除されたコードは差し引かれ、正味ユニット数（追加−削除）で評価します。これにより、コードを詰め込むことが報われず、長期的に保守しやすいコードを書くモデルが評価されます。SWE-bench Verifiedの結果と組み合わせて、モデルをランキング。誰でも自分のベンチマーク結果を追加できます。