Der Data Intelligence Engineer: Wenn Agenten die Arbeit machen, wer haftet dann?
The Dawn of the Data Intelligence Engineer
Bei MotherDuck hat KI den Backlog der Datenabteilung verschwinden lassen – doch der Lead Data Engineer ist beschäftigter denn je. Statt selbst Zahlen zu berechnen, muss er nun prüfen, ob LLMs und Agenten die richtigen liefern. Für diese neue Rolle prägt das Unternehmen den Begriff Data Intelligence Engineer: ein Mensch, der Kontext kuratiert, Evals baut und die Verantwortung für das trägt, was die Agenten ausgeben.
Agenten brauchen eine Aufsicht, die proportional zu ihrem Schadensradius ist.
- agenticfish
Es ist frustrierend, wie die Datendisziplin in so viele verschiedene Jobtitel aufgesplittert ist. Ich muss regelmäßig mit Data Engineers, Data Analysts, Analytics Engineers, Data Scientists, Machine Learning Scientists und Machine Learning Engineers zusammenarbeiten. Jeder sieht seine Rolle sehr eng, sodass man viele Leute einbinden muss, um etwas zu erledigen. Oft ist es einfacher, die Arbeit einfach selbst zu machen.
Ich verstehe, dass etwas Spezialisierung nützlich ist, aber ich würde mir mehr T-förmige Datenleute wünschen.
- aleda145
Ich denke, es gibt große Risiken, wenn man es einfach als "Wild West" bezeichnet und Benutzer dort machen lässt, was sie wollen.
Es war schon immer möglich, seine Daten so zu manipulieren, dass sie zu dem passen, was man gerade darstellen will. Früher musste man zu einem Data Analysten gehen und ihn davon überzeugen, seine Prinzipien aufzugeben. Jetzt kann man einfach einen Agenten das herausfinden lassen.
Wie stellt man also sicher, dass Erkenntnisse tatsächlich mit anderen Teilen des Unternehmens geteilt (und ihnen vertraut) werden können?
Ich denke, die Metrik-Ebene einfach freizugeben, ist hier wahrscheinlich die Antwort.
Es ist irgendwie komisch, dass die Branche so lange versucht hat, Daten zu demokratisieren, aber jetzt beeilen wir uns, den Zugriff einzuschränken, um Benutzer davor zu schützen, falsche Entscheidungen zu treffen.
- zodwick
Obwohl ich im Allgemeinen dem meisten zustimme, was gesagt wird, fühlen sich einige dieser Punkte wie "Pferdelose Kutschen" an.
Zum Beispiel
>Es weiß nicht, wie Ihr Unternehmen Umsatz zählt, oder welche von mehreren ähnlich aussehenden Tabellen die echte ist (es ist revenue_cpx_new_revised_v2_use_this_one )
Diese Annahme gilt meist nur für nicht saubere Daten (was größtenteils darauf zurückzuführen ist, dass Menschen faul sind und der Backlog verstopft ist). Wenn KI beginnt, mehr der Pipelines upstream zu bauen, wird dies zu einem Nicht-Thema.
Selbst bei bestehenden Pipelines würde ich erwarten, dass Korrekturen upstream wandern: Wenn ein Agent zur Abfragezeit auf Mehrdeutigkeit stößt, ist die nützliche Ausgabe keine Bearbeitung des Kontexts, sondern ein PR, der das behebt.
- epgui
Ich bin hier mit Opus 5.5 und Fable 5.2 unterwegs und würde nicht sagen, dass der Code im Allgemeinen sehr gut ist.
- moezd
Das ist einfach ein Data Engineer, erweitert um Agenten.