Pandasは絶滅すべき：100GBの壁とDuckDB・Polarsの衝撃

Pandas Should Go Extinct

Pandasの非効率性が、ワークロードに見合わない分散クエリシステムへの移行を強制している。Amazon Redshiftのテレメトリ分析によれば、94.68%のテーブルは100GB未満、86.9%のクエリは80GB以下で、いわゆる「Big Data」はほとんどの場合存在しない。100GB前後の「Medium Data」なら、DuckDBやPolarsといったシングルマシン向けの高性能ツールで十分だ。10億行のCSV処理では、Pandasが4分28秒かかるのに対し、Polarsは5.04秒、DuckDBは5.19秒と圧倒的な差を見せた。