Pandas должен исчезнуть: 94% таблиц в Redshift меньше 100 ГБ
Pandas Should Go Extinct
Автор утверждает, что Pandas неэффективен и заставляет команды переходить на распределённые системы вроде Spark или Snowflake задолго до того, как это действительно необходимо. Анализ данных Amazon Redshift показывает: 94,68% таблиц содержат менее 100 ГБ, а 86,9% запросов обрабатывают не более 80 ГБ. Для таких объёмов достаточно Polars и DuckDB — они работают в разы быстрее и потребляют меньше памяти. В тесте на 1 млрд строк Pandas выполнил задачу за 4 минуты 28 секунд, тогда как Polars и DuckDB — примерно за 5 секунд.
Вы, скорее всего, не имеете Big Data и, вероятно, никогда не будете. У вас проблемы Medium Data, и вам нужны решения для Medium Data.