为何分析查询要按列而非行存储?
Rows vs. Columns: How different are they, really?
我们习惯用行来思考数据,就像在Postgres或MySQL中,每条记录的所有细节都聚在一起,这非常适合处理登录、下单等OLTP场景。但一旦转向数据分析,比如统计纽约共享单车的热门区域,情况就变了。这类分析往往需要扫描海量数据,却只用到少数几列。如果数据库仍按行存储,CPU在读取目标数据时,不得不连带加载大量无用字段,造成巨大的I/O浪费。本文深入剖析了Row stores与Column stores在内存布局上的本质差异,解释了为何像DuckDB和ClickHouse这样的Column store能通过Vectorized execution和SIMD指令,将查询性能提升数倍。
我们可能习惯于按行思考,但要快速回答这类问题,我们必须按列编程。
HN 评论区
39- reticulates
> 正是这些后果导致大多数数据库系统专为事务或分析而构建,而非两者兼顾。[24]
> [...]
> [24] 过去人们曾尝试构建同时处理两者的单一系统(HTAP,即混合事务/分析处理),但这些尝试通常未能成功。不过,一些较新的系统似乎正在弥合这一差距。CedarDB 是慕尼黑工业大学研究系统 Umbra 的商业版,它能在单个引擎和单份数据副本上同时运行事务和分析。Databricks 的 Lakebase 将 Postgres(一种行式存储)保留为事务查询的引擎,但其存储层会在后台将相同数据重写为列式格式,从而允许分析引擎对其进行查询。
脚注称“这些尝试通常未能成功”,但随后又提到了 Lakebase 和 CedarDB 作为较新的尝试。有人能谈谈 CedarDB、Lakebase(以及任何其他系统?)是否真的实现了传说中的“单一数据库兼顾事务与分析”吗?我们是否应预期在不久的将来,“事务 + 分析”会成为所有数据库的标准配置,还是说将两者结合仍是一个充满权衡的小众/冷门领域?
- netcraft
计算单列平均值这个简单例子让人误以为每列的数据是独立存储的,但一旦你想利用两列之间的相关性(比如简单的单列 group by),这是否意味着每列都必须同时存储该列的值和某种行标识符,以便与同一记录中的其他列进行连接?我从未深入研究过列式存储,所以这是个真诚的问题,我一直以为结构必然是这样的。
- remywang
> 大多数格式将表分割成大的行组,并在每个组内分别存储列(这被称为“行组”)。这个概念最早可追溯到 VLDB 2001 年的论文《Weaving Relations for Cache Performance》中的 PAX,也是如今 Apache Parquet 文件的工作原理。
PAX 的“行组”大小与磁盘页相同,而 Parquet 的行组要大得多,因此一个页仅存储来自同一列的数据。我一直试图追踪这一设计变更的起源,但尚未找到那篇正确的论文。
- 4ndrewl
“一个将每条记录的细节保持在一起的数据库无法利用这一点:要读取两列,它必须读取全部五列。”
我的理解是,如果你为这些字段创建了索引,现代数据库就能利用这一点——即它会从索引读取,而非从记录本身读取。
- j0shk0
我是不是漏掉了什么,还是这不过是 AOS 与 SOA 的区别?