开发者指南：搞懂数据工具全景图
Guide to data tools landscape for developers
我曾是 Deepnote 的一名软件工程师，加入后才发现自己对数据领域一无所知，完全听不懂数据团队的行话。从 ETL 到 ELT，从 Data Analyst 到 Data Scientist，各种工具和流程让我一头雾水。为了不再在办公室厨房的讨论中感到被孤立，我深入研究了数据生命周期，梳理了 Analytical、Scientific、Engineering 和 Machine Learning 四种核心角色及其常用工具。这篇文章就是为那些误入数据公司的开发者准备的，帮你快速搞懂 SQL、Tableau、Apache Spark 等工具在数据流程中的位置，让你能自信地参与讨论，甚至提出有价值的功能建议。
如果不知道各种数据工具通常如何使用，或者它们如何与 Notebook 交互，我就无法为 Notebook 提出好的功能建议，也无法发现有问题的 UI 流程。
HN 评论区
36- 有评论者指出 DuckDB 正在重塑数据工具格局，其性能足以在 1TB 以下场景替代 Snowflake 等传统数仓，甚至正在吞噬查询引擎和元数据目录。
- 一位从业者强调数据工程的核心缺失在于软件工程基础，包括单元测试、集成测试、部署自动化及基础设施监控，而非单纯堆砌工具。
- 关于数据仓库的定义存在争议，有观点认为它本质是 OLAP 使用模式而非特定技术，Postgres 或 MySQL 同样可以构建数据仓库。
- 针对 Pandas 的局限性，社区建议利用 Narwhals 兼容层作为抽象层，以便在 Pandas、Polars 和 DuckDB 之间无缝切换以平衡交互性与性能。
- 有用户批评原文过于罗列工具而忽略了落地关键，指出缺乏生产环境部署、回归测试策略以及衡量客户成功的指标体系。