«Впервые в карьере у меня нет бэклога»: как AI породил роль Data Intelligence Engineer
The Dawn of the Data Intelligence Engineer
Мэттью Холл из MotherDuck описывает, как агенты вроде Claude и ChatGPT научились писать SQL и разбираться в бизнес-логике, и предлагает название для новой роли — Data Intelligence Engineer. Такой специалист не пишет запросы сам, а строит агентов, курирует общий контекст, гоняет evals и отвечает за то, чтобы ответы системы были верными. Цель — самообслуживание: любой сотрудник получает качество работы лучшего аналитика компании.
«Data eng, независимо от инструментов и от того, кто это делает, — это функция подотчётности».
- agenticfish
Раздражает, как дисциплина работы с данными раздроблена на столько разных должностей. Мне регулярно приходится работать с data engineers, data analysts, analytics engineers, data scientists, machine learning scientists и machine learning engineers. Каждый смотрит на свою роль очень узко, поэтому, чтобы что-то сделать, нужно привлекать кучу народу. Часто проще просто сделать работу самому.
Я понимаю, что некоторая специализация полезна, но хотелось бы видеть больше T-shaped специалистов по данным.
- aleda145
Думаю, есть большие риски в том, чтобы просто называть это «Диким Западом» и позволять пользователям делать там всё, что они захотят.
Всегда было возможно подогнать свои данные под любой нужный тебе вывод. Раньше приходилось идти к data analyst и убеждать его отказаться от своих принципов. Теперь можно просто позволить агенту всё разрулить.
Так как же убедиться, что инсайты действительно можно передавать (и доверять им) другим частям компании?
Думаю, просто открыть слой метрик — вероятно, и есть ответ.
Забавно, что индустрия так долго пыталась демократизировать данные, а теперь мы лихорадочно ограничиваем доступ, чтобы защитить пользователей от принятия неверных решений.
- zodwick
Хотя в целом я согласен с большей частью сказанного, некоторые вещи звучат как «Безлошадные экипажи».
Например:
>Он не знает, как ваша компания считает выручку, или какая из нескольких похожих таблиц настоящая (это revenue_cpx_new_revised_v2_use_this_one )
Это предположение в основном верно только для нечистых данных (что в основном является результатом лени людей и забитого бэклога). По мере того как AI начнёт строить больше пайплайнов выше по потоку — это перестанет быть проблемой.
Даже для существующих пайплайнов я ожидаю, что исправления будут двигаться выше по потоку: когда агент сталкивается с неоднозначностью во время запроса, полезный результат — это не правка контекста, а PR, который это исправляет.
- epgui
Я вот использую Opus 5.5 и Fable 5.2 и не сказал бы, что код в целом очень хороший.
- moezd
Это просто data engineer, усиленный агентами.