最高性能のAIでも税務実務の合格率は10.8%、Surge AIが新ベンチマークを公開
Dayjob: Tax – evaluating AI agents on 50 professional tax assignments
Surge AIが税務実務に特化した新ベンチマーク「DAYJOB: Tax」を公開した。8分野50の課題で、1,789点の資料（PDF、Excel、手書き領収書の写真など）を読み解き、税務申告書や助言を作成させる。最高スコアはClaude Sonnet 5.5の合格率10.8%。顧客が尋ねていない重要問題を自ら発見できるかが焦点で、フロンティアモデルでも実務水準には届いていない。
税務アドバイザーなら、顧客が尋ねようと思わないことでも、重大な影響を及ぼす問題に気づくべきだ。
HNでの議論
140- lexandstuff
今年はAstra + Codexを使って確定申告の準備をした。複雑な申告書を徹底的に処理してくれて、スプレッドシートにすべてを整理した状態で、税務フォームに記入するために会計士に送った。会計士から最終レビューのために戻ってきたので、Codexにチェックさせたところ、誤りだらけだった。還付金は本来より2千ドル近く少なく、たくさんの項目が間違った欄に入れられていた。100%正確にするために何度もやり取りを繰り返す必要があった。過去の申告書のうち、どれだけが間違っていたのかと考えさせられた。
ある程度の精度が求められる作業では、人間は正確さを信頼できないから、特定のタスクにはAIの使用が必須になる時代が来る気がする。
- RGS1811
概念実証として、余分なトークンを使ってIRSの税務フォームとワークシートを形式化してきた。主にこれが可能であることを証明するためだ。アイデアとしては、このようなものを公的に維持されるIRS Direct Fileプログラム（RIP）のバージョンに適応させることができる。今のところ、米国連邦税務の状況の推定60%をカバーしている。
- bluejay2387
これは単に汎用エージェントに書類でいっぱいのワークスペースと課題を与えて、何が起こるか見ているだけではないか？これでは本当に何も言っていないように感じる。彼らは主にこれをベースモデルに放り込み、それを支えるインフラはほとんど何もなかったようだ。街でランダムに人を捕まえて「税金をやれ」と言えば、おそらく同じくらいひどく間違えるだろう。興味深い問いは、税金に焦点を当てたよく設計されたハーネスの中でモデルが何ができるかだ。それが性能の限界と、その分野でAIをどれだけ真剣に受け止める必要があるかを反映するだろう。
- waiwai933
私は海外在住の米国市民で、複雑な税務状況にある。自分で確定申告をしており、信頼できるクロスボーダーの税務準備者を見つけたことがない。ここ数年、下書きの申告書とすべての裏付け書類をClaudeに投入してきた。Claudeは：
1. 誤りを見つけた。例えば間違った為替レートを使った箇所（そしてなぜその誤りを犯したかを突き止めたのには感心した）
2. 文脈を知らなければ誤りに見えるが、そうではない項目を見つけた
3. 正しい税務処理について私と意見が異なる領域を指摘したが、法律が曖昧であることは認めた（追加調査の後、その解釈を好む場合もあれば、そうでない場合もあった）
4. IRSのガイダンスと意見が異なる領域を指摘し、私がリンクを提供して初めてそのガイダンスを認めた
5. 非常に不正確な概算税額計算を提供し、指摘してもその概算を修正できなかった
結論として、税務には非常に有用なツールだが、驚くことではないが、すべての書類を放り込んでチェック不要の完璧な申告書を期待できるほどではない。（W-2だけで他に実質的な収入がなければそうかもしれないが、そのシナリオについては言及できない。）
- holdingunsteady
私の税理士は数年前に確定申告を誤って提出し、それで約2万ドルの損をした（後に別の税理士に切り替えてから知った）。今日のSOTAならClaudeやGPTが同じ間違いをするかどうかはわからないが、モデルが年間数千ドルから数万ドルを節約してくれる可能性があると感じる。
- hintymad
TurboTaxは十分簡単に使えると思うが、データ収集と入力が大きな手間だ（私にとっては、各ウェブサイトにログオンして対応する税務書類を取得するだけでも苦痛な雑用だ）。データを簡単に収集する良い方法は何だろう？その問題を解決すれば、確定申告は簡単な作業になるだろう。
- licyeus
タスクで提供されるツールやシステムプロンプトをすぐに確認できなかった。[0]
この種の細部指向の専門タスクは、タスク固有のハーネスを使った方がパフォーマンスが良くなるように思える。彼らが挙げた例、Astraが財産除外益の要件を見落とした件は、要件を最初にコンパイルし、その後チェックする足場を用意すれば簡単に修正できるように思える。
足場がなければ、このベンチマークはモデルが自己足場を構築できるか、またはコンテキスト内で要件を追跡できるかをテストしているのだろうか？
0 - https://huggingface.co/datasets/surgeai/DAYJOB-tax/tree/main...
- bodeadly
LLMが近い将来に税金処理をうまくやれるとは思えない。主な理由は、証明のように言葉で説明されない限り、簡単な計算さえ非常に苦手だからだ。良い例は、LLMに次のような質問をすることだ：
「食品用の秤に容器を置き、風袋引きし、ピーナッツ100gを加え、風袋引きし、アーモンド100gを量り、その後容器を秤から取り除いたら、秤は何を示すか？」
LLMはこれで完全に崩壊する。アーモンドの後に風袋引きしなかったことを考慮せず、容器の重さを差し引く必要があることも見落とす。正解はマイナス（100g + 容器の重さ）だ。この特定の質問は、LLMの別の弱点である物理世界の概念も突いている。LLMはただ推測しているだけだ。LLMが税金をうまく処理するには、多くのシナリオで訓練され、サポートサービスとして使える数学サービスが必要だろう。