Pandas 该灭绝了？Polars 与 DuckDB 的崛起

Pandas Should Go Extinct

文章直言 Pandas 应当退出历史舞台，并非因为它不够好用，而是其效率瓶颈迫使开发者过早引入 Spark 或 Snowflake 等复杂的分布式系统。作者通过 Amazon Redshift 的实测数据指出，94.68% 的表数据量不足 100GB，绝大多数场景属于“中等数据”问题。针对这一区间，基于 Rust 的 Polars 和类 SQLite 的 DuckDB 凭借惰性求值与多线程优化，在单台机器上实现了远超 Pandas 的性能。实测显示，在处理 10 亿行数据时，DuckDB 和 Polars 的速度是 Pandas 的数十倍，且内存占用极低。与其盲目追求大数据架构，不如用更现代的工具解决当下的痛点。