KI-Agenten scheitern an professioneller Steuerarbeit: Bestes Modell besteht nur 10,8 Prozent der Aufgaben
Dayjob: Tax – evaluating AI agents on 50 professional tax assignments
Surge AI hat mit DAYJOB: Tax einen Benchmark veröffentlicht, der KI-Agenten an 50 realistischen Steueraufgaben aus acht Fachgebieten misst. Die Agenten müssen aus unübersichtlichen Unterlagen – darunter handgeschriebene Quittungen und widersprüchliche Aufzeichnungen – selbst erkennen, welche Fragen relevant sind. Claude Sonnet 5.5 führt mit einer Bestehensquote von 10,8 Prozent. Selbst Frontier-Modelle übersehen folgenreiche Fristen und treffen Annahmen, die sie nicht überprüfen.
Ein Steuerberater sollte folgenreiche Probleme erkennen, auch wenn der Mandant nicht weiß, dass er danach fragen muss.
- lexandstuff
Ich habe dieses Jahr meine Steuererklärung mit Astra + Codex vorbereitet. Es hat bei einer komplizierten Erklärung gründliche Arbeit geleistet, und ich habe sie an meinen Steuerberater geschickt, damit er das Steuerformular ausfüllt, mit allem in einer Tabellenkalkulation aufbereitet. Sie haben es zur Endprüfung zurückgeschickt, und ich habe Codex es überprüfen lassen; es war voller Fehler. Die Rückerstattung war fast 2.000 $ niedriger als sie hätte sein sollen, und sie haben eine Menge Zeug in die falschen Felder eingetragen. Ich musste mehrmals hin und her, um es zu 100 % korrekt zu machen. Das ließ mich fragen, wie viele Steuererklärungen früherer Jahre falsch waren.
Ich habe das Gefühl, wir werden an einen Punkt kommen, an dem es Pflicht ist, KI für bestimmte Aufgaben zu verwenden – Menschen kann man einfach nicht zutrauen, Dinge richtig hinzubekommen, die ein gewisses Maß an Präzision erfordern.
- RGS1811
Als Proof-of-Concept habe ich zusätzliche Tokens verwendet, um die IRS-Steuerformulare und -Arbeitsblätter zu formalisieren, hauptsächlich nur um zu beweisen, dass das machbar ist. Die Idee ist, dass so etwas in eine öffentlich gepflegte Version des IRS Direct File-Programms (RIP) adaptiert werden könnte. Ich bin inzwischen bei geschätzten 60 % Abdeckung der US-Bundessteuersituationen.
- bluejay2387
Ist das einfach nur, einem Allzweck-Agenten einen Arbeitsbereich voller Dokumente und eine Aufgabe zu geben und dann zu sehen, was passiert? Ich finde, das sagt nicht wirklich etwas aus. Es scheint, sie haben das meiste davon einfach in Basismodelle gekippt, mit so gut wie keiner Infrastruktur zur Unterstützung. Wenn du einfach irgendeinen Menschen von der Straße aufgreifst und sagst ‚mach Steuern‘, würde er wahrscheinlich genauso schlecht abschneiden. Die interessante Frage wäre, was die Modelle in einem gut konstruierten, auf Steuern fokussierten Harness leisten könnten. Das würde die Leistungsgrenze widerspiegeln und wie ernst wir KI in diesem Bereich nehmen müssten.
- waiwai933
Ich habe eine nicht triviale Steuersituation als US-Bürger, der im Ausland lebt. Ich erstelle meine Steuererklärungen selbst, da ich noch nie einen grenzüberschreitenden Steuerberater gefunden habe, dem ich vertraue, und habe in den letzten Jahren meinen Entwurf der Erklärung zusammen mit allen Belegen in Claude eingegeben. Es hat:
1. Fehler gefunden, z. B. wo ich den falschen Wechselkurs verwendet hatte (und es schaffte herauszufinden, wie ich diesen Fehler gemacht hatte, was mich beeindruckte)
2. Punkte gefunden, die wie Fehler aussehen würden, außer für Kontext, den es nicht kannte
3. Bereiche markiert, in denen es mir in Bezug auf die korrekte steuerliche Behandlung widersprach, aber akzeptierte, dass das Gesetz mehrdeutig ist (und in einigen Fällen bevorzugte ich nach zusätzlicher Recherche seine Interpretation, in anderen nicht)
4. Bereiche markiert, in denen es der IRS-Anleitung widersprach, und die besagte Anleitung erst anerkannte, nachdem ich Links dazu bereitstellte
5. extrem ungenaue geschätzte Steuerberechnungen geliefert und seine Schätzungen nicht korrigieren können, selbst wenn es herausgefordert wurde
Mein Fazit ist also, dass es ein sehr nützliches Werkzeug für Steuern ist, aber vielleicht wenig überraschend nicht gut genug, um all deine Unterlagen hineinzuschütten und eine glänzende Erklärung zu erwarten, die du nicht prüfen musst. (Möglicherweise ist es das, wenn du nur eine W-2 und kein anderes wesentliches Einkommen hast, aber dazu kann ich nichts sagen.)
- holdingunsteady
Mein Steuerberater hat vor ein paar Jahren meine Steuern falsch eingereicht, was mich etwa 20.000 $ gekostet hat (was ich erst erfuhr, als ich später zu einem anderen Berater wechselte). Ich weiß nicht, ob Claude / GPT angesichts des heutigen SOTA denselben Fehler machen würden oder nicht, aber es fühlt sich an, als gäbe es eine Chance für Modelle, mir Tausende oder Zehntausende von Dollar pro Jahr zu sparen.
- hintymad
Ich finde TurboTax einfach genug zu bedienen, außer dass das Sammeln und Eingeben von Daten eine riesige Plackerei ist (für mich ist schon das Einloggen auf jeder Website und das Herunterladen des entsprechenden Steuerdokuments eine schmerzhafte Pflicht). Was wäre ein guter Weg, die Daten einfach zu sammeln? Wenn ich dieses Problem löse, wird die Steuererklärung eine einfache Aufgabe.
- licyeus
Ich konnte nicht schnell sehen, welche Tools/System-Prompts in den Aufgaben bereitgestellt wurden. [0]
Diese Art von detailorientierten professionellen Aufgaben scheinen mit aufgabenspezifischen Harnesses besser zu funktionieren. Das Beispiel, das sie geben, bei dem Astra die Anforderung für ausgeschlossene Grundstücksgewinne übersieht, scheint leicht durch Scaffolding behoben werden zu können, das sicherstellt, dass Anforderungen zuerst zusammengestellt und dann geprüft werden.
Wenn das Scaffolding fehlt, testet dieser Benchmark dann, ob ein Modell sich selbst scaffolden kann, oder ob es Anforderungen im Kontext verfolgen kann?
0 - https://huggingface.co/datasets/surgeai/DAYJOB-tax/tree/main...
- bodeadly
Ich bin mir nicht sicher, ob LLMs in absehbarer Zeit gut in Steuern sein werden, hauptsächlich weil sie selbst bei einfacher Mathematik sehr schlecht sind, es sei denn, sie wird in Worten wie bei Beweisen erklärt. Eine gute Illustration dafür ist, ein LLM etwas wie das zu fragen:
„Wenn ich einen Behälter auf eine Küchenwaage stelle, tara, 100 g Erdnüsse hinzufüge, tara, 100 g Mandeln abwiege und dann den Behälter von der Waage nehme, was zeigt die Waage an?“
LLMs übergeben sich bei dieser Frage komplett. Sie berücksichtigen nicht, dass nach den Mandeln nicht tariert wurde, und sie sehen nicht, dass das Gewicht des Behälters abgezogen werden muss. Die richtige Antwort ist minus (100 g + Behältergewicht). Obwohl diese spezielle Frage auch eine andere LLM-Schwäche ausnutzt, nämlich Konzepte der physischen Welt. LLMs raten einfach. Damit ein LLM Steuern gut machen kann, müsste es mit vielen Szenarien trainiert werden und einen Mathedienst haben, den es als Unterstützungsdienst nutzen kann.