El mismo trabajo, dos motores: InnoDB e Iceberg por dentro
Same Job, Two Engines: InnoDB and Iceberg Internals
El autor migró su análisis de acciones de un motor OLTP (InnoDB) a un stack OLAP (Iceberg sobre MinIO, con catálogo Polaris y lecturas con Spark) tras cinco años y más de 100 GB de datos. Explica las garantías de InnoDB —MVCC, undo log, índices que frenan las escrituras— y cómo Iceberg optimiza las consultas con particiones, archivos Parquet, manifiestos y listas de manifiestos. La clave: entender que los datos se agrupan en varias capas y que las escrituras se vuelven mucho más eficientes.
Sin saberlo, diseñé mi base de datos InnoDB usando un principio fundamental de OLAP.
- sgarland
> Las tres garantías de InnoDB
Las filas almacenan todas las columnas juntas
No está garantizado. Los formatos de fila DYNAMIC (predeterminado) y COMPRESSED [0] pueden mover valores más grandes de columnas de longitud variable a registros fuera de página. En el ejemplo dado, esto no ocurriría, pero no es una garantía per se. Esto es más o menos equivalente al TOAST de Postgres, aunque el umbral predeterminado de Postgres para TOAST es 1/4 de página (2 KiB con su tamaño de página predeterminado de 8 KiB), mientras que InnoDB es 1/2 de página (8 KiB con su tamaño de página predeterminado de 16 KiB).
0: https://dev.mysql.com/doc/refman/9.7/en/innodb-row-format.ht...
- wood_spirit
Me gusta la visión del viaje personal de aprender cosas nuevas y compartirlo.
Los próximos pasos sugeridos serían probar DuckDB en su lugar. Mi conjetura es que arrasaría con spark, etc. a esta escala. Siempre es bueno aprender diferentes rincones del panorama de datos.