El Data Intelligence Engineer: el nuevo rol que deja sin backlog a los equipos de datos
The Dawn of the Data Intelligence Engineer
MotherDuck propone un nombre para el rol emergente en equipos de datos con IA: el Data Intelligence Engineer. Su trabajo ya no es escribir SQL o construir dashboards, sino automatizar esas tareas mediante agentes, curar el contexto del negocio, diseñar evaluaciones y rendir cuentas por la calidad de las respuestas. Nick Ursa, lead data engineer de MotherDuck, lo resume: es la primera vez en su carrera que no tiene backlog, pero está más ocupado que nunca.
Los agentes necesitan supervisión proporcional a su radio de impacto.
- agenticfish
Es frustrante cómo la disciplina de datos está dividida en tantos títulos de trabajo diferentes. Regularmente tengo que trabajar con data engineers, data analysts, analytics engineers, data scientists, machine learning scientists y machine learning engineers. Cada uno ve su rol de forma muy estrecha, así que necesitas involucrar a mucha gente para sacar algo adelante. A menudo es más fácil simplemente hacer el trabajo uno mismo.
Entiendo que cierta especialización es útil, pero me gustaría ver más gente de datos con perfil T-shaped.
- aleda145
Creo que hay grandes riesgos en etiquetarlo simplemente como "salvaje oeste" y dejar que los usuarios hagan lo que quieran allí.
Siempre ha sido posible manipular tus datos para que encajen con el caso que quieras presentar. Antes tenías que pasar por un data analyst y convencerlo de que abandonara sus principios. Ahora puedes simplemente dejar que un agente lo resuelva.
Entonces, ¿cómo te aseguras de que las ideas sean realmente compartibles (y confiables) con otras partes de la empresa?
Creo que simplemente exponer la capa de métricas es probablemente la respuesta aquí.
Es un poco gracioso que la industria haya intentado democratizar los datos durante tanto tiempo, pero ahora nos apresuramos a restringir el acceso para proteger a los usuarios de tomar decisiones incorrectas.
- zodwick
Aunque en general estoy de acuerdo con la mayor parte de lo que se dice, algunas de estas cosas suenan a "carruajes sin caballos".
Por ejemplo
>No sabe cómo cuenta los ingresos tu empresa, ni cuál de varias tablas de aspecto similar es la real (es revenue_cpx_new_revised_v2_use_this_one )
Esta suposición principalmente solo se cumple para datos no limpios (lo cual es en su mayoría resultado de que los humanos sean perezosos y el backlog esté atascado). A medida que la IA empiece a construir más de los pipelines upstream, esto deja de ser un problema.
Incluso para los pipelines existentes, esperaría que las correcciones se movieran upstream: cuando un agente encuentra ambigüedad en el momento de la consulta, el resultado útil no es una edición del contexto, sino un PR que lo corrija.
- epgui
Estoy aquí usando Opus 5.5 y Fable 5.2 y no diría que el código sea generalmente muy bueno.
- moezd
Eso es solo un data engineer mejorado con agentes.