Pandas debería extinguirse: el 94% de las tablas de Redshift no llegan a 100GB
Pandas Should Go Extinct
El autor sostiene que Pandas obliga a adoptar sistemas distribuidos antes de que la carga lo justifique. Con datos de Amazon Redshift, muestra que el 94,68% de las tablas tienen menos de 100GB y el 86,9% de las consultas operan sobre 80GB o menos. Frente a esto, Polars y DuckDB procesan mil millones de filas en unos 5 segundos, mientras que Pandas tarda 4 minutos y 28 segundos y consume 38GB de memoria.
Es probable que no tengas Big Data, y probablemente nunca lo tengas. Tienes problemas de Medium Data y necesitas soluciones de Medium Data.
- minimaxir
Ha pasado un tiempo desde que vi un post real de ciencia de datos enviado a Hacker News: tanto porque la IA ha superado muchas tareas de DS (por ejemplo, embeddings vectoriales), como porque no ha pasado mucho nuevo en DS. Polars lleva un tiempo y, como se señala, es mucho mejor que pandas, pero por lo demás el ecosistema de DS ha estado algo estancado.
Escribiría más tutoriales sobre cómo usar herramientas de ciencia de datos, pero una consecuencia de la IA es que todas las viejas fuentes de datos que solía analizar, como redes sociales y Reddit, ahora están completamente bloqueadas (me sorprende que NYC Taxi siga actualizándose, aunque sea). Por lo tanto, mientras tanto, estoy trabajando en hacer mejores herramientas de ciencia de datos... aunque no está claro con qué fin debido al problema de datos anterior.
- rmunn
Título simpático; pensé que estaba a punto de leer a un ecologista contrarian diciendo "una especie tan especializada en su dieta y tan quisquillosa en su comportamiento reproductivo no merece, evolutivamente hablando, sobrevivir". (En serio, es jodidamente difícil lograr que los pandas se reproduzcan en cautiverio). Y aunque mi reacción instintiva sería "quizás, pero aún deberíamos preservarlos porque podemos", estaba preparado para ver si el autor tenía un argumento serio que presentar.
En cambio, es un lindo título de bait-and-switch, y el artículo te dice desde el principio que en realidad trata sobre la librería `pandas` de Python. Con la que creo que me he encontrado quizás una vez en toda mi carrera (no estoy en el campo de la ciencia de datos), así que no tengo mucho que decir sobre el artículo en sí. Solo quiero felicitar al autor por engañarme con el título. Este es el tipo de "clickbait" que puedo respetar y que en realidad desearía que hubiera un poco más a veces. Una buena risa, y luego un artículo real.
- sjtrny
> La gente normalmente empieza con Excel y pasa a Pandas en algún punto del rango de los GB. Pandas les sirve bien hasta los 10s de GB, y luego empiezan a tener problemas de memoria, cómputo lento, o se frustran con la API barroca de Pandas.
Asume que un proyecto supera los 10s de GB. Supongo que el 99.9% de los proyectos que importan pandas están muy por debajo de ese umbral.
- mulmboy
La gente suele sorprenderse al saber que polars puede ser más lento para operaciones bastante comunes, especialmente con conjuntos de datos pequeños. Por ejemplo, toma un dataframe de 5000 x 3 de float64 y ordena por una columna y verás que polars tarda aproximadamente 2.5 veces más. Si estableces POLARS_MAX_THREADS a 1, entonces es más rápido. Aunque todo esto depende de la máquina. Polars tiende a brillar con conjuntos de datos más grandes o donde puede aprovechar mucho la planificación de consultas.
No te saltes el profiling
- latent-person
En mi opinión, un mejor argumento para dejar de usar pandas es la API tan poco intuitiva que tiene pandas. Además, un pequeño cambio en la consulta puede obligarte a reestructurar toda la consulta (cambiar todas las líneas), mientras que en Polars (y tidyverse en R) es solo un simple cambio de una línea.
- crazysim
¿Estoy loco o el OP intercambió accidentalmente el contenido de los posts?
https://eddie.codes/posts/pandas-should-go-extinct/ <=> https://eddie.codes/posts/source-code-comments/
- __mharrison__
Estoy en medio de terminar las ediciones para Effective Pandas 3rd Edition. (También escribí un libro de Polars y acabo de terminar una sesión de entrenamiento de una semana sobre pandas esta semana.)
Pandas no es perfecto, tiene un montón de defectos. Pero es suficientemente bueno para la mayoría. (Y muchas de esas personas están usando Excel o tableau o power bi... Estos eran los tipos que estaba entrenando esta semana).
Si tienes datos medianos, migrar de pandas respaldado por pyarrow a duck o Polars es trivial.
- evolve-maz
Solo en los últimos años empecé a usar SQL correctamente. Antes de eso, mis pipelines vivían en python. Ahora descargo tanto como sea posible a la base de datos, y mantengo mi python como simple pegamento. Estoy muy contento con esto en comparación con otros métodos en pandas o polars.
Si todavía necesito hacer cosas tipo base de datos en python, creo que duckdb es mejor.