AIでバックログが消えた今、データチームに必要な新しい役割「Data Intelligence Engineer」
The Dawn of the Data Intelligence Engineer
MotherDuckのリードデータエンジニアNick Ursaは、AIの導入でキャリア初めてチケットのバックログがなくなったという。ただし仕事は減るどころか増えている。LLMやエージェントが出した数字が正しいかを人間が保証する必要があるからだ。MotherDuckは、エージェントを構築・監督し、共有コンテキストやevalを整備して全社のセルフサービスを可能にする新職種をData Intelligence Engineerと名付け、その職務を解説する。
「データエンジニアリングは、どんなツールを使おうと誰がやろうと、説明責任を担う機能だ」とNickは言う。
HNでの議論
76- agenticfish
データ分野がこれほど多くの異なる職種に細分化されているのは腹立たしい。私は定期的にデータエンジニア、データアナリスト、アナリティクスエンジニア、データサイエンティスト、機械学習サイエンティスト、機械学習エンジニアと仕事をしなければならない。それぞれが自分の役割を非常に狭く捉えているので、何かを成し遂げるには多くの人を巻き込む必要がある。自分で仕事をやった方が簡単なことがよくある。
ある程度の専門分化は有用だと理解しているが、もっとT字型のデータ人材が増えてほしい。
- aleda145
「ワイルドウェスト」とレッテルを貼って、ユーザーにそこで好き放題させることには大きなリスクがあると思う。
自分のデータを都合のいいように加工して、どんな主張にも合わせることは常に可能だった。以前はデータアナリストを通して、彼らに原則を曲げさせるよう説得する必要があった。今はエージェントに任せればいい。
では、インサイトが実際に会社の他の部門と共有可能（かつ信頼可能）であることをどう保証するのか？
ここでの答えはおそらく、メトリクスレイヤーを公開するだけでいいのだと思う。
業界が長い間データの民主化を試みてきたのに、今ではユーザーが誤った意思決定をしないようにアクセスを制限しようと躍起になっているのは、ちょっと滑稽だ。
- zodwick
概ね述べられていることのほとんどに同意するが、いくつかは「馬なし馬車」のように感じられる。
例えば
>会社がどのように収益を数えるのか、似たようなテーブルのうちどれが本物なのか（それは revenue_cpx_new_revised_v2_use_this_one だ）を知らない
この前提は主にクリーンでないデータ（主に人間の怠惰とバックログの詰まりの結果）にのみ当てはまる。AIが上流のパイプラインをより多く構築し始めると、これは問題ではなくなる。
既存のパイプラインでも、修正は上流に移ると予想する。エージェントがクエリ時に曖昧さに遭遇したとき、有用な出力はコンテキストの編集ではなく、それを修正するPRだ。
- epgui
私はここでOpus 5.5とFable 5.2を使っているが、コードが一般的に非常に良いとは言えない。
- moezd
それはエージェントで強化されたデータエンジニアにすぎない。