Databricks实测：AI编码代理的真实成本

Benchmarking coding agents on Databricks' multi-million line codebase

在Databricks，我们不再盲目追求最贵的模型。通过在数百万行代码库上进行的内部基准测试，我们发现OpenAI、Anthropic以及开源模型GLM 5.2各有千秋。有趣的是，模型每Token的价格往往无法反映真实任务成本，大模型反而可能更省钱。此外，工具框架（Harness）的选择对效率和成本影响巨大，简单的Pi框架在特定场景下表现优异。我们建议根据任务难度灵活切换模型，而非默认使用顶级模型，从而在保持高质量的同时显著降低开发成本。

"模型的每Token价格往往是衡量端到端任务实际成本的糟糕指标。"