AI 세무사, 5번 모두 놓친 마감일: 최고 모델도 통과율 10.8%
Dayjob: Tax – evaluating AI agents on 50 professional tax assignments
Surge AI의 DAYJOB: Tax 벤치마크는 50개의 실제 세무 업무로 AI 에이전트의 전문적 판단력을 평가한다. 1,789개의 워크스페이스 파일에는 수기 영수증 사진, 여러 주에 걸친 파견 기록 등 비정형 자료가 포함된다. Claude Sonnet 5.5가 10.8% 통과율로 선두를 차지했지만, 한 사례에서 Astra는 5번 모두 주거 요건 만료 시한을 짚지 못했고, Opus는 결혼 여부를 확인하지 않은 채 권고를 내놓았다.
고객은 계좌 분할 방법을 물었지만, 에이전트는 권고에 앞서 두 사람이 결혼했는지부터 확인했어야 했다. 그 조사를 촉발했어야 할 증거는 이미 파일 안에 있었다.
HN 토론
139- lexandstuff
올해는 Astra + Codex를 써서 세금 신고를 준비했다. 복잡한 신고서를 꼼꼼하게 처리해줬고, 모든 내용을 스프레드시트에 정리해서 회계사에게 보내 세금 양식을 작성하게 했다. 회계사가 최종 검토를 위해 돌려보냈고, Codex로 확인해보니 오류투성이였다. 환급액이 마땅히 받아야 할 금액보다 거의 2천 달러나 적었고, 여러 항목을 잘못된 칸에 넣어놨다. 100% 정확하게 만들기 위해 여러 번 주고받아야 했다. 예전 연도 신고서들은 얼마나 틀렸을지 궁금해졌다.
어느 순간 특정 작업에는 AI 사용이 의무화될 거라는 느낌이 든다. 일정 수준의 정밀도가 필요한 일을 인간에게 맡겨서는 제대로 해낼 거라고 믿을 수 없으니까.
- RGS1811
개념 증명 차원에서, IRS 세금 양식과 워크시트를 형식화하기 위해 추가 토큰을 사용해왔는데, 주로 이게 가능하다는 걸 증명하기 위해서였다. 아이디어는 이런 걸 공개적으로 유지 관리되는 IRS Direct File 프로그램(RIP) 버전으로 개조할 수 있다는 것이다. 현재 미국 연방 세금 상황의 약 60%를 커버하는 걸로 추정한다.
- bluejay2387
이건 그냥 범용 에이전트에게 문서가 가득한 작업 공간과 과제를 주고 무슨 일이 일어나는지 보는 건가? 이건 별로 말해주는 게 없는 것 같다. 이들은 대부분 이 모든 걸 기본 모델에 던져넣었고, 이를 지원할 인프라는 거의 없거나 전혀 없는 것으로 보인다. 길에서 아무나 붙잡아 '세금 해봐'라고 하면 아마 비슷하게 망칠 것이다. 흥미로운 질문은 세금에 집중한 잘 설계된 하네스 안에서 모델이 무엇을 할 수 있는지일 것이다. 그게 성능 경계와 그 분야에서 AI를 얼마나 진지하게 받아들여야 하는지를 반영할 것이다.
- waiwai933
나는 해외에 거주하는 미국 시민으로서 세금 상황이 만만치 않다. 신뢰할 수 있는 국경 간 세무사를 찾지 못해 스스로 신고서를 작성하는데, 지난 몇 년간 내 초안 신고서와 모든 증빙 서류를 Claude에 입력해왔다. Claude는:
1. 오류를 찾아냈다. 예를 들어 잘못된 환율을 사용한 경우(그리고 내가 어떻게 그런 실수를 했는지까지 알아냈는데, 감탄했다)
2. 맥락을 몰라서 오류처럼 보이지만 실제로는 아닌 항목을 찾아냈다
3. 올바른 세무 처리에 대해 나와 의견이 다른 부분을 표시했지만, 법이 모호하다는 점은 인정했다(추가 조사 후 일부는 그 해석이 더 낫다고 생각했고, 일부는 아니었다)
4. IRS 지침과 의견이 다른 부분을 표시했고, 내가 링크를 제공한 후에야 그 지침을 인정했다
5. 매우 부정확한 예상 세금 계산을 제공했고, 이의를 제기해도 추정치를 고치지 못했다
그래서 내 결론은 세금에 매우 유용한 도구이긴 하지만, 놀랍지 않게도 모든 서류를 던져넣고 확인할 필요 없는 깔끔한 신고서를 기대하기에는 충분하지 않다는 것이다. (W-2만 있고 다른 실질 소득이 없다면 가능할지도 모르지만, 그 시나리오는 말할 수 없다.)
- holdingunsteady
몇 년 전 내 세무 회계사가 세금 신고를 잘못 제출해서 약 2만 달러의 손해를 봤다(나중에 다른 회계사로 바꾸고 나서야 알았다). 오늘날 최신 모델 기준으로 Claude/GPT가 같은 실수를 할지 안 할지는 모르겠지만, 모델이 나에게 매년 수천에서 수만 달러를 절약해줄 기회가 있는 것 같다.
- hintymad
TurboTax는 사용하기 충분히 쉽다고 생각한다. 다만 데이터 수집과 입력이 엄청난 골칫거리다(나에게는 각 웹사이트에 로그인해서 해당 세금 서류를 받는 것만으로도 고통스러운 잡일이다). 데이터를 쉽게 수집할 좋은 방법은 무엇일까? 그 문제만 해결하면 세금 신고는 쉬운 일이 될 것이다.
- licyeus
과제에 어떤 도구/시스템 프롬프트가 제공되었는지 빨리 확인할 수 없었다. [0]
이런 세부 사항 지향적인 전문 작업은 과제별 하네스가 있을 때 더 잘 수행될 것 같다. 그들이 든 예시인 Astra가 부동산 제외 이익 요건을 놓친 경우는, 요건을 먼저 컴파일한 뒤 확인하도록 하는 스캐폴딩으로 쉽게 고칠 수 있을 것 같다.
스캐폴딩이 없다면, 이 벤치마크는 모델이 스스로 스캐폴딩할 수 있는지, 아니면 맥락 내에서 요건을 추적할 수 있는지를 테스트하는 건가?
0 - https://huggingface.co/datasets/surgeai/DAYJOB-tax/tree/main...
- bodeadly
LLM이 가까운 시일 내에 세금 업무를 잘할 거라고 확신하지 못하는 주된 이유는, 증명처럼 말로 설명하지 않는 한 간단한 수학조차 매우 못하기 때문이다. 좋은 예시는 LLM에게 이런 질문을 하는 것이다:
"음식 저울에 용기를 올리고 영점을 맞춘 뒤 땅콩 100g을 넣고 다시 영점을 맞추고, 아몬드 100g을 달고 나서 저울에서 용기를 치우면 저울은 얼마를 표시할까?"
LLM은 이 질문에 완전히 무너진다. 아몬드 후에 영점을 맞추지 않은 것을 고려하지 않고, 용기의 무게를 빼야 한다는 것도 보지 못한다. 정답은 마이너스(100g + 용기 무게)다. 물론 이 특정 질문은 물리적 세계 개념이라는 또 다른 LLM 약점도 이용한다. LLM은 그냥 추측하는 것이다. LLM이 세금을 잘하려면 많은 시나리오로 훈련되어야 하고, 지원 서비스로 사용할 수 있는 수학 서비스가 필요할 것이다.