Claude更快更便宜，我们却选了弯路

Claude was faster and cheaper. We took the scenic route anyway

我们让 Llama 3.2、Mistral、Gemma 2、Phi-3 mini 和 Qwen 2.5 这五个本地模型在 Apple M3 Pro 上运行，对同一问题给出答案。它们经常意见不一，单纯投票无法解决共同错误。于是我们提出“Verify, Then Vote”策略：先检查每个模型引用的来源，再用固定规则筛选答案。我们用 Claude Sonnet 5.5 作为独立核查器，只判断引用是否支持答案，不判断答案本身真假。实验显示，该方法将准确率从 77.1% 提升至 85.0%，并在 526 个混合答案问题上将准确率从 71.5% 提升至 86.5%。虽然 Claude 直接决策更准更便宜，但我们的方法保留了每一步记录，支持无额外模型调用即可重新演绎决策过程，为后续优化提供了可复现的基础。