Лучший AI-агент проходит лишь 10,8% профессиональных налоговых заданий
Dayjob: Tax – evaluating AI agents on 50 professional tax assignments
Surge AI выпустила DAYJOB: Tax — бенчмарк из 50 налоговых заданий в восьми областях практики, от деклараций до споров с IRS. Агенты получают запросы клиентов и тысячи файлов: PDF, Excel, рукописные чеки, логи выездов. Лидирует Claude Sonnet 5.5 с результатом 10,8% при пороге 95% по рубрике. Модели считают, но не замечают скрытых последствий: например, пропускают дедлайн, после которого Анна потеряет право на льготу в $250 000.
Агент правильно оценил предложенные даты, но его совет оставил Анну в неведении о дедлайне, который мог повлиять на крупное финансовое решение.
- lexandstuff
В этом году я готовил налоги с помощью Astra + Codex. Он проделал тщательную работу по сложной декларации, и я отправил её своему бухгалтеру для заполнения налоговой формы, всё было разложено в электронной таблице. Они вернули её на финальную проверку, и я прогнал её через Codex; она кишела ошибками. Возврат был почти на $2k ниже, чем должен был быть, и они впихнули кучу всего в неправильные поля. Пришлось несколько раз туда-сюда, чтобы добиться 100% правильности. Заставило задуматься, сколько деклараций за прошлые годы были неправильными.
У меня такое чувство, что мы придём к моменту, когда использование ИИ для определённых задач станет обязательным — людям просто нельзя доверять то, что требует определённого уровня точности.
- RGS1811
В качестве доказательства концепции я использовал дополнительные токены, чтобы формализовать налоговые формы и рабочие листы IRS, в основном просто чтобы доказать, что это возможно. Идея в том, что нечто подобное можно адаптировать в публично поддерживаемую версию программы IRS Direct File (RIP). На данный момент я оцениваю покрытие налоговых ситуаций в США примерно в 60%.
- waiwai933
У меня нетривиальная налоговая ситуация, так как я гражданин США, живущий за границей. Я сам готовлю свои налоговые декларации, так как никогда не находил трансграничного налогового специалиста, которому доверял бы, и последние несколько лет скармливал свой черновик декларации вместе со всеми подтверждающими документами в Claude. Он:
1. находил ошибки, например, когда я использовал неправильный обменный курс (и сумел выяснить, как я допустил эту ошибку, что меня впечатлило)
2. находил пункты, которые выглядели бы ошибками, если бы не контекст, которого он не знал
3. отмечал области, где он не соглашался со мной насчёт правильной налоговой трактовки, но признавал, что закон неоднозначен (и в некоторых случаях после дополнительного исследования я предпочитал его трактовку, а в других — нет)
4. отмечал области, где он не соглашался с руководством IRS, и признавал это руководство только после того, как я предоставлял ссылки на него
5. давал крайне неточные расчёты предполагаемых налогов и не мог исправить свои оценки даже после возражений
Так что мой вывод: это очень полезный инструмент для налогов, но, что, возможно, неудивительно, его недостаточно, чтобы загрузить все свои документы и ожидать блестящую декларацию, которую не нужно проверять. (Возможно, это так, если у вас просто W-2 и нет другого существенного дохода, но за этот сценарий я не могу поручиться.)
- bluejay2387
Это просто даёт агенту общего назначения рабочее пространство, полное документов, и задание, а потом смотрит, что произойдёт? По-моему, это ни о чём не говорит. Похоже, они в основном засунули всё это в базовые модели почти без инфраструктуры для поддержки. Если просто случайно схватить человека с улицы и сказать «займись налогами», он, вероятно, облажается так же сильно. Интересный вопрос был бы в том, что модели могли бы сделать в хорошо спроектированной обвязке, ориентированной на налоги. Это отражало бы границу производительности и то, насколько серьёзно нам пришлось бы относиться к ИИ в этой области.
- holdingunsteady
Мой налоговый бухгалтер пару лет назад неправильно подал мои налоги, что стоило мне около $20K (о чём я узнал, когда позже перешёл к другому бухгалтеру). Не знаю, сделали бы Claude / GPT ту же ошибку или нет с учётом сегодняшнего SOTA, но чувствуется, что есть возможность для моделей экономить мне тысячи или десятки тысяч долларов в год.
- hintymad
Мне TurboTax кажется достаточно простым в использовании, за исключением того, что сбор и ввод данных — огромная морока (для меня просто зайти на каждый сайт и получить соответствующий налоговый документ — болезненная рутина). Какой был бы хороший способ легко собрать данные? Если я решу эту проблему, подача налогов станет простой задачей.
- licyeus
Я не смог быстро увидеть, какие инструменты/системные промпты были предоставлены в задачах. [0]
Такие детализированные профессиональные задачи, похоже, показывали бы лучшие результаты с ориентированными на задачу обвязками. Пример, который они приводят, — Astra пропускает требование об исключении прироста по имуществу, — кажется легко исправимым с помощью скаффолдинга, который гарантирует, что требования сначала компилируются, а затем проверяются.
Если скаффолдинг отсутствует, этот бенчмарк проверяет, может ли модель сама построить скаффолдинг или отслеживать требования в контексте?
0 - https://huggingface.co/datasets/surgeai/DAYJOB-tax/tree/main...
- bodeadly
Я не уверен, что LLM скоро станут хорошо справляться с налогами, в первую очередь потому, что они очень плохи даже в простой математике, если только она не объяснена словами, как в доказательствах. Хорошая иллюстрация — спросить LLM что-то вроде:
«Если я поставлю контейнер на кухонные весы, обнулю их, добавлю 100 г арахиса, обнулю, взвешу 100 г миндаля и затем уберу контейнер с весов, что покажут весы?»
LLM полностью облажаются на этом. Они не учитывают, что после миндаля не было обнуления, и не видят, что вес контейнера нужно вычесть. Правильный ответ — минус (100 г + вес контейнера). Хотя этот конкретный вопрос также эксплуатирует другую слабость LLM — концепции физического мира. LLM просто гадают. Чтобы LLM хорошо справлялись с налогами, их нужно обучить на множестве сценариев, и им нужен математический сервис, который они могли бы использовать как вспомогательный.