Pandas debería extinguirse: el 94% de las tablas de Redshift no llegan a 100GB
Pandas Should Go Extinct
El autor sostiene que Pandas obliga a adoptar sistemas distribuidos antes de que la carga lo justifique. Con datos de Amazon Redshift, muestra que el 94,68% de las tablas tienen menos de 100GB y el 86,9% de las consultas operan sobre 80GB o menos. Frente a esto, Polars y DuckDB procesan mil millones de filas en unos 5 segundos, mientras que Pandas tarda 4 minutos y 28 segundos y consume 38GB de memoria.
Es probable que no tengas Big Data, y probablemente nunca lo tengas. Tienes problemas de Medium Data y necesitas soluciones de Medium Data.