Claude Sonnet 5.5 lidera un nuevo benchmark de impuestos con solo un 10,8% de aprobados
Dayjob: Tax – evaluating AI agents on 50 professional tax assignments
Surge AI presenta DAYJOB: Tax, un benchmark de 50 encargos fiscales reales con 1.789 archivos de trabajo, desde declaraciones y K-1 hasta un recibo manuscrito. Claude Sonnet 5.5 encabeza la tabla con un 10,8% de aprobados, seguido de Fable 5.1 (9,6%) y Opus 5.5 (9,2%). Los agentes calculan bien, pero fallan al detectar plazos decisivos o verificar supuestos que el cliente nunca cuestiona.
En los cinco intentos, Opus basó sus recomendaciones en el supuesto de que la pareja no estaba legalmente casada, incluso cuando reconocía la incertidumbre.
- lexandstuff
Este año preparé mis impuestos usando Astra + Codex. Hizo un trabajo exhaustivo en una declaración complicada, y se la envié a mi contador para que rellenara el formulario fiscal, con todo organizado en una hoja de cálculo. Me la devolvieron para revisión final, y le pedí a Codex que la revisara; estaba plagada de errores. La devolución era casi $2k menor de lo que debería haber sido, y metieron un montón de cosas en los campos equivocados. Tuve que ir y venir varias veces para que quedara 100% correcta. Me hizo preguntarme cuántas declaraciones de años anteriores estarían mal.
Siento que vamos a llegar a un punto en el que será obligatorio usar IA para ciertas tareas; simplemente no se puede confiar en los humanos para hacer bien cosas que requieren un nivel de precisión.
- RGS1811
Como prueba de concepto, he estado usando tokens extra para formalizar los formularios y hojas de trabajo de impuestos del IRS, más que nada para demostrar que esto se puede hacer. La idea es que algo así podría adaptarse a una versión mantenida públicamente del programa IRS Direct File (RIP). Hasta ahora llevo una cobertura estimada del 60% de las situaciones fiscales federales de EE. UU.
- bluejay2387
¿Esto es simplemente darle a un agente de propósito general un espacio de trabajo lleno de documentos y una tarea, y ver qué pasa? Siento que esto realmente no dice nada. Parece que en su mayoría volcaron todo esto en modelos base con poco o nada en materia de infraestructura para apoyarlo. Si agarras a una persona al azar de la calle y le dices 'haz los impuestos', probablemente la cagaría igual de mal. La pregunta interesante sería qué podrían hacer los modelos en un arnés bien diseñado enfocado en impuestos. Eso reflejaría el límite de rendimiento y cuán en serio tendríamos que tomarnos la IA en ese campo.
- waiwai933
Tengo una situación fiscal no trivial, como ciudadano estadounidense viviendo en el extranjero. Preparo mis propias declaraciones de impuestos, nunca he encontrado un preparador fiscal transfronterizo en el que confíe, y durante los últimos años he metido mi borrador de declaración junto con toda la documentación de respaldo en Claude. Ha:
1. encontrado errores, por ejemplo donde usé el tipo de cambio incorrecto (y logró deducir cómo había cometido ese error, lo cual me impresionó)
2. encontrado elementos que parecerían errores excepto por contexto que no conocía
3. señalado áreas donde no estaba de acuerdo conmigo sobre el tratamiento fiscal correcto, pero aceptó que la ley es ambigua (y en algunos casos preferí su interpretación tras investigación adicional y en otros no)
4. señalado áreas donde no estaba de acuerdo con la guía del IRS, y solo reconoció dicha guía después de que le proporcioné enlaces a ella
5. proporcionado cálculos de impuestos estimados altamente inexactos, y no ha podido corregir sus estimaciones incluso cuando se le desafió
Así que mi conclusión es que es una herramienta muy útil para impuestos, pero como era de esperar, no es lo suficientemente buena como para volcar todos tus papeles y esperar una declaración impecable que no necesites revisar. (Posiblemente lo sea si solo tienes un W-2 y ningún otro ingreso sustancial, pero no puedo hablar de ese escenario).
- holdingunsteady
Mi contador de impuestos presentó mal mis impuestos hace un par de años, lo que me costó unos $20K (lo cual descubrí después de cambiarme a otro contador más tarde). No sé si Claude / GPT cometería el mismo error o no dado el estado del arte actual, pero siento que hay una oportunidad para que los modelos me ahorren miles o decenas de miles de dólares al año.
- hintymad
Encuentro que TurboTax es bastante fácil de usar, excepto que la recopilación e ingreso de datos es un gran fastidio (para mí, simplemente iniciar sesión en cada sitio web y obtener el documento fiscal correspondiente es una tarea dolorosa). ¿Cuál sería una buena manera de recopilar los datos fácilmente? Si resuelvo ese problema, la presentación de impuestos se convertirá en una tarea fácil.
- licyeus
No pude ver rápidamente qué herramientas/prompts de sistema se proporcionaron en las tareas. [0]
Este tipo de tareas profesionales orientadas al detalle parecen funcionar mejor con arneses específicos para la tarea. El ejemplo que dan, de Astra omitiendo el requisito de ganancias excluidas de propiedad, parece fácilmente solucionable con un andamiaje que asegure que los requisitos se recopilen primero y luego se verifiquen.
Si el andamiaje está ausente, ¿este benchmark está probando que un modelo puede auto-andamiarse, o rastrear requisitos en contexto?
0 - https://huggingface.co/datasets/surgeai/DAYJOB-tax/tree/main...
- bodeadly
No estoy seguro de que los LLM vayan a ser buenos haciendo impuestos en el corto plazo, principalmente porque son muy malos incluso en matemáticas simples a menos que se expliquen con palabras como en las demostraciones. Un buen ejemplo de esto es preguntarle a un LLM algo como esto:
"Si pongo un recipiente en una balanza de cocina, la taro, agrego 100g de maní, la taro, peso 100g de almendras y luego retiro el recipiente de la balanza, ¿qué marca la balanza?"
Los LLM se hacen un lío total con esta. No tienen en cuenta que no se taró después de las almendras y no ven que hay que restar el peso del recipiente. La respuesta correcta es menos (100g + peso del recipiente). Aunque esta pregunta en particular también explota otra debilidad de los LLM, que son los conceptos del mundo físico. Los LLM simplemente adivinan. Para que un LLM haga bien los impuestos, tendría que entrenarse con muchos escenarios y necesitaría un servicio matemático que pueda usar como servicio de apoyo.