데이터 팀의 백로그가 사라졌다, MotherDuck이 제안하는 'Data Intelligence Engineer'
The Dawn of the Data Intelligence Engineer
MotherDuck의 데이터 엔지니어 Nick Ursa는 AI 도입 후 처음으로 백로그가 없는 상태가 됐지만, 오히려 더 바빠졌다. 이제 그의 일은 LLM이나 에이전트가 내놓은 숫자가 맞는지 검증하는 것이다. MotherDuck은 이 새로운 역할을 'Data Intelligence Engineer'라 명명하고, 에이전트가 SQL과 대시보드, dbt 파이프라인을 대신 작성하는 시대에 인간이 맡아야 할 책임과 품질 관리, 평가 체계를 제시한다.
에이전트는 그 영향 범위에 비례하는 감독이 필요하다.
HN 토론
76- agenticfish
데이터 분야가 이렇게 많은 직무로 쪼개져 있다는 게 답답하다. 나는 정기적으로 데이터 엔지니어, 데이터 분석가, 애널리틱스 엔지니어, 데이터 과학자, 머신러닝 과학자, 머신러닝 엔지니어와 일해야 한다. 각자 자기 역할을 아주 좁게 보기 때문에 뭔가 하나 끝내려면 많은 사람을 끌어와야 한다. 그냥 내가 직접 하는 게 더 쉬울 때가 많다.
어느 정도 전문화가 유용하다는 건 알지만, T자형 데이터 인재를 더 많이 보고 싶다.
- aleda145
"와일드 웨스트"라고 이름 붙이고 사용자들이 거기서 하고 싶은 대로 다 하게 두는 데는 큰 위험이 있다고 생각한다.
원하는 주장에 맞게 데이터를 조작하는 건 항상 가능했다. 예전에는 데이터 분석가를 거쳐야 했고 그들을 설득해 원칙을 포기하게 해야 했다. 이제는 에이전트가 알아서 하게 두면 된다.
그럼 인사이트가 실제로 회사의 다른 부서와 공유 가능하고(그리고 신뢰할 수 있게) 하려면 어떻게 해야 할까?
여기서 답은 아마 메트릭 레이어를 노출하는 것일 거다.
업계가 그렇게 오랫동안 데이터 민주화를 시도해 왔는데, 이제는 사용자가 잘못된 결정을 내리지 않도록 보호하려고 접근을 제한하느라 허둥대는 게 좀 웃기다.
- zodwick
전반적으로 대부분의 주장에 동의하지만, 몇몇은 "말 없는 마차(Horseless Carriages)"처럼 느껴진다.
예를 들어
>회사가 매출을 어떻게 계산하는지, 또는 비슷하게 보이는 여러 테이블 중 어느 것이 진짜인지(그건 revenue_cpx_new_revised_v2_use_this_one이다) 모른다
이 가정은 대부분 깨끗하지 않은 데이터(대부분 인간이 게으르고 백로그가 막힌 결과)에서만 성립한다. AI가 업스트림 파이프라인을 더 많이 구축하기 시작하면 이건 문제가 아니게 된다.
기존 파이프라인에서도 수정은 업스트림으로 이동할 것으로 기대한다. 에이전트가 쿼리 시점에 모호함을 만나면 유용한 출력은 컨텍스트를 편집하는 것이 아니라 그것을 고치는 PR이다.
- epgui
나는 여기서 Opus 5.5와 Fable 5.2를 쓰고 있는데, 코드가 일반적으로 아주 좋다고는 말하지 않겠다.
- moezd
그건 그냥 에이전트로 강화된 데이터 엔지니어다.