Parsimony: 评测AI模型代码增量基准
Show HN: Parsimony – an open-source benchmark for how much code AI models add

现有基准只关注解决率和成本,却忽略了代码膨胀带来的长期维护噩梦。Parsimony 是一款开源基准工具,专门衡量 AI 编程代理在完成任务时新增了哪些代码。它不统计行数,而是计算语句、调用等语法单元,并扣除删除的代码,从而真实反映净增量。通过解析 SWE-bench Verified 的补丁,Parsimony 能帮你识别哪些模型在解决问题时更‘吝啬’,避免生成冗余代码,让代码库更易于维护。
现有的基准测试不惩罚过度生成的代码,而这恰恰会让代码库在长期维护中变得难以处理。