行と列は本当に違うのか、データベースの物理配置から性能差を読み解く
Rows vs. Columns: How different are they, really?
CSVやSQLテーブルは行単位でデータを捉えるが、分析クエリはごく一部の列しか必要としない。行ストアでは2列を読むために全列を読み込むことになり、CPUのキャッシュライン単位の取得で最大12倍の無駄が生じる。列ストアはこれを解消し、ベクトル化実行やSIMD、圧縮といった最適化を可能にする。行と列の違いがクエリ性能にどう波及するかを解説する。
コードは他のフィールドを「無視」できるが、ハードウェアはそうはいかない。
HNでの議論
40- reticulates
> そうした結果が、ほとんどのデータベースシステムがトランザクション用か分析用のどちらかに作られていて、両方ではない理由だ。[24]
> [...]
> [24] 過去には両方をこなす単一のシステムを作ろうとした試み(HTAP、つまりハイブリッド・トランザクショナル/アナリティカル・プロセッシング)があったが、それらは概してうまくいかなかった。しかし、いくつかの新しいシステムがそのギャップを埋めつつあるようだ。CedarDBはUmbra(ミュンヘン工科大学の研究システム)の商用版で、単一のエンジンと単一のデータコピー上でトランザクションと分析を実行する。DatabricksのLakebaseはPostgres(行ストア)をトランザクションクエリのエンジンとして維持するが、そのストレージ層がバックグラウンドで同じデータを列指向フォーマットに書き換え、分析エンジンがそれをクエリできるようにする。
脚注には「それらの試みは概してうまくいかなかった」とあるのに、その後でLakebaseやCedarDBを新しい取り組みとして挙げている。CedarDBやLakebase(他にもある?)が、あの伝説の「トランザクション+分析を1つのデータベースで」を実現しつつあるのかどうか、誰か話せる人はいる?近い将来、トランザクション+分析がすべてのデータベースで標準になると思うべきなのか、それとも両者を組み合わせるのは多くのトレードオフを伴うニッチ/難解なものなのか?
- netcraft
単一カラムの平均を計算する単純な例だと、各カラムのデータが単独で保存されているように見えるけど、2つのカラムの相関関係を使った何かをしたい場合(たとえば単純な単一カラムのgroup byとか)には、各カラムがそのカラムの値と、同じレコード内の他のカラムと結合できるような何らかの行識別子の両方を保存しなければならないってことになるんじゃない?列指向ストアを調べたことはないからこれは素朴な疑問で、ただずっとそういう構造になるものだと思ってた。
- remywang
> ほとんどのフォーマットはテーブルを行の大きなグループに分割し、各グループ内でカラムを別々に保存する(これは「row group」として知られている)。このアイデアはPAX、Weaving Relations for Cache Performance(VLDB 2001)に遡り、今日のApache Parquetファイルもこのように動作している。
PAXの「row group」はディスクページと同じサイズなのに対し、Parquetのrow groupははるかに大きく、1ページには同じカラムのデータだけが格納される。この設計変更の起源を突き止めようとしているのだけど、適切な論文が見つからない。
- 4ndrewl
「各レコードの詳細をまとめて保持するデータベースでは、それを活用できない。2つのカラムを読むには、5つすべてを読まなければならない。」
私の理解では、現代のデータベースはそれらのフィールドのインデックスを作成すればそれを活用する。つまりレコードではなくインデックスから読むのだ。
- j0shk0
何か見落としているのか、それともこれはAOS対SOAに過ぎないのか?