turbopuffer abandona el índice vectorial como primario
RIP, vector database

turbopuffer está rediseñando su arquitectura de almacenamiento con la versión v3, que deja de usar la dirección ANN como clave primaria. El objetivo es eliminar la amplificación de almacenamiento y escritura, y permitir bloques de datos más grandes para consultas no vectoriales. El nuevo motor ya pasa todas las pruebas de CI, aunque aún rinde por debajo de la versión en producción. La empresa publicará benchmarks a medida que optimice el rendimiento.
La solución a estos problemas es simple: no usar la dirección ANN como clave. Eso es precisamente el cambio que introduce turbopuffer v3.
- gopalv
> Esta amplificación de escritura es lo suficientemente grande como para que nuestros esfuerzos por ajustar el rendimiento de la indexación hayan empezado a mostrar rendimientos decrecientes.
> no uses como clave la dirección ANN. Ese es precisamente el cambio que introduce turbopuffer v3. Como puedes imaginar, no es un cambio trivial.
Esto es un paralelo directo a cómo Postgres y Mysql construyeron índices.
Tu elección de diseño pasó de un patrón de diseño de Postgres a uno de Mysql. La diferencia es el coste de reindexación frente al coste de búsqueda: Postgres optimizó para la búsqueda y Mysql lo hizo para la indexación en escrituras. O, más exactamente, Postgres era mejor con un buen diseño de esquema usando joins y mysql estaba optimizado para un mal diseño con menos normalización, donde existen muchos índices para la misma tabla.
Postgres siempre apunta un índice a un row-id dentro de postgres, que es un valor arbitrario que cambia en cada actualización.
Mysql, asumiendo siempre que el motor de almacenamiento es intercambiable, apunta a la entrada del índice primario y añade una indirección extra a la búsqueda.
Esto significa que apuntas el índice de mysql a un id estable, así que a menos que vayas a actualizar la clave primaria de una fila, no tendrás que actualizar los índices de todas las búsquedas de atributos que hayas hecho sobre los datos.
Ya no hago tantas bases de datos, pero el diseño del formato de archivo NIMBLE tiene muchas peculiaridades que son relevantes para esta idea concreta (tablas anchas).
Pero el viejo post de Uber sobre cambiar de Postgres a Mysql para evitar la amplificación de índices[1] es un espejo directo de este post.
- pjmlp
Tengo un déjà vu con las bases de datos NoSQL; me alegra seguir usando bases de datos SQL clásicas para los datos, mientras estas obtienen las características que importan después de que se asiente el polvo.
- gk1
Las bases de datos vectoriales siempre fueron más sobre recuperación que sobre vectores o almacenamiento de datos. Pero el término se quedó demasiado pegado y las empresas se aferraron a él un poco demasiado tiempo. Lo siento :)
- real_faxenoff
Estoy desarrollando una "herramienta mcp de grafo de código" local (aún no publicada) y seguí un camino similar, aunque puede que haya podido ir más lejos ya que tengo menos vectores en mi base de datos (incluso en proyectos con 50M LOC).
Al principio, probé todas esas populares bases de datos vectoriales y me decepcionó su rendimiento. Al final, la mejor y más rápida solución resultó ser construir un sistema multi-base de datos sobre SQLite, compilado con todo lo relacionado con operaciones multi-cliente eliminado. Solo quedó el modo exclusivo. Todo es lo más binario posible. El índice está completamente separado — un IVF con preentrenamiento — y se construye en la GPU (250K vectores se construyen, procesan y guardan en 4 segundos). Ahora mismo, mi mayor problema son los cambios frecuentes de datos, y necesito implementar optimizaciones para reducir los recálculos.
Hasta ahora, no he visto ninguna implementación de base de datos vectorial que vaya en la dirección correcta. Quizás solo Lancedb parece prometedora, pero es demasiado pesada para mis necesidades.
- tschellenbach
La IA tiene algunos de los ciclos de altibajos más locos que he visto en la tecnología
- Tsarp
Me ha gustado mucho lancedb para casos de uso similares. No solo porque sea OSS. Sino porque Lance trata ANN como un índice secundario similar a lo que hace turbopuffer v3. Las filas residen en fragmentos, y el índice vectorial nunca las mueve.
- croemer
El dashboard se actualizó por última vez el 7 de septiembre, comenzó el 5 de septiembre. ¿Bug? ¿O no hay progreso? Está enlazado en la publicación del blog, así que esperaría que funcionara: https://turbopuffer.com/v3
- DevKoala
Pronto simplemente te venderán markdown.