DAYJOB: Tax 评测：AI 税务代理的盲点
Dayjob: Tax – evaluating AI agents on 50 professional tax assignments
Surge AI 发布了 DAYJOB: Tax 基准测试，在 50 个真实税务场景中评估 AI 代理的专业能力。测试发现，即便是表现最好的 Claude Sonnet 5.5，通过率也仅为 10.8%。AI 往往能完成基础计算，却难以像人类专家那样主动识别客户未提及的关键风险，例如房产出售的居住期限截止日或婚姻状态的税务影响。该测试涵盖 1789 个工作空间文件，要求 AI 处理手写收据、跨州派遣记录等复杂证据。结果显示，让 AI 承担端到端的专业判断责任，仍面临巨大挑战。
大多数现有的税务基准测试始于一个明确的问题，但 DAYJOB 还追问：客户是否提出了正确的问题？
HN 评论区
118- RGS1811
作为一个概念验证，我一直在使用额外的 tokens 来形式化 IRS 的税表和计算表，主要是为了证明这是可行的。这个想法是，类似的东西可以被改编成 IRS Direct File 计划（安息吧）的公开维护版本。到目前为止，我已覆盖了约 60% 的美国联邦税务情况。
- lexandstuff
今年我用 Astra + Codex 准备了我的报税。它处理了一份复杂的申报表，做得非常彻底，然后我把整理好的电子表格发给我的会计师去填写税表。他们发回来让我做最终审核，我让 Codex 检查了一下，结果发现错误百出。退税金额比应有的少了近 2000 美元，而且他们把很多东西填错了字段。不得不来回沟通好几次才把一切都弄对。这让我忍不住怀疑，过去几年的申报表是不是也有错。
我觉得我们很快就会到达这样一个节点：某些任务强制要求使用 AI——人类根本不可信，无法在处理需要高精度时把事情做对。
- waiwai933
我的税务情况比较复杂，作为一个居住在海外的美国公民。我一直自己准备报税，因为从未找到过值得信任的跨境税务申报员。过去几年里，我把我的草稿申报表连同所有支持文件都喂给了 Claude。它做到了以下几点：
1. 发现了错误，比如我使用了错误的汇率（它甚至推算出了我是如何犯下这个错误的，这让我印象深刻）
2. 发现了一些看似错误的条目，但这些错误是因为它缺乏某些背景信息
3. 标记了它与我意见不一致的税务处理方式，但也承认法律存在模糊之处（在某些情况下，经过额外研究后，我更倾向于它的解释；而在其他情况下则不然）
4. 标记了它与 IRS 指南不一致的地方，直到我提供相关链接后，它才承认这些指南
5. 提供了非常不准确的预估税款计算，即使受到质疑也无法修正其估算
所以我的结论是，它是一个非常有用的税务工具，但不出所料，它还不够好，不能让你把所有文件丢进去就指望得到一份无需检查的完美申报表。（如果你只有 W-2 表格且没有其他实质性收入，那可能另当别论，但我无法对此场景发表评论。）
- holdingunsteady
几年前，我的税务会计师把我的税表报错了，这给我造成了约 2 万美元的损失（这是我后来换了另一位会计师后才得知的）。我不确定以目前的 SOTA（最先进）水平，Claude 或 GPT 是否会犯同样的错误，但感觉模型有机会每年为我节省数千甚至数万美元。
- bluejay2387
这难道只是给一个通用智能体一个堆满文档的工作空间和一个任务，然后看看会发生什么吗？我觉得这并没有说明什么。看起来他们主要是把所有东西都扔进了基础模型，几乎没有提供任何基础设施支持。如果你随便从街上抓个人，跟他说“去报税”，他可能也会搞得一团糟。真正有趣的问题是，在针对税务精心设计的框架中，这些模型能做到什么程度。那才能反映出性能边界，以及我们在这个领域需要多么严肃地看待 AI。
- hintymad
我觉得 TurboTax 本身用起来还算简单，除了数据收集和输入是个巨大的麻烦（对我来说，仅仅是登录每个网站获取相应的税务文件就是一件痛苦的琐事）。有没有什么好办法能轻松收集数据？如果我能解决这个问题，报税就会变成一件轻松的任务。
- licyeus
我没能快速看出任务中提供了哪些工具或系统提示。[0]
这类注重细节的专业任务，似乎在使用任务特定的框架时会表现更好。他们举的例子，Astra 漏掉了房产排除收益的要求，这似乎很容易通过脚手架修复：先汇总要求，再进行检查。
如果缺少脚手架，这个基准测试是在测试模型能否自我搭建脚手架，还是在测试模型能否在上下文中追踪要求？
0 - https://huggingface.co/datasets/surgeai/DAYJOB-tax/tree/main...
- bodeadly
我不确定 LLM 在不久的将来能否很好地处理税务，主要是因为它们在简单的数学运算上表现很差，除非这些运算像证明题一样用文字解释清楚。一个很好的例子是问 LLM 这样一个问题：
“如果我往食物秤上放一个容器，归零，加入 100 克花生，再归零，称出 100 克杏仁，然后把容器从秤上拿走，秤显示多少？”
LLM 在这类问题上完全翻车。它们没有考虑到杏仁之后没有归零，也没意识到需要减去容器的重量。正确答案是负的（100 克 + 容器重量）。虽然这个问题也利用了 LLM 的另一个弱点，即对物理世界概念的理解。LLM 只是在瞎猜。要让 LLM 很好地处理税务，它需要在大量场景上进行训练，并且需要一个可以用作支持服务的数学模块。