Pandas는 멸종해야 한다
Pandas Should Go Extinct
Pandas의 비효율성 때문에 대부분의 워크로드가 분산 쿼리 시스템을 도입하지만, Amazon Redshift 데이터에 따르면 94.68%의 테이블이 100GB 미만이고 86.9%의 쿼리가 80GB 이하 데이터를 다룬다. 저자는 대부분의 문제가 '빅데이터'가 아닌 '미디엄 데이터'라며, Polars와 DuckDB 같은 단일 머신 도구가 10억 행 벤치마크에서 Pandas보다 훨씬 빠르고 메모리도 적게 쓴다고 주장한다.
당신은 아마 빅데이터를 가지고 있지 않으며, 아마 영원히 그럴 것이다. 당신은 미디엄 데이터 문제를 가지고 있고, 미디엄 데이터 해결책이 필요하다.