turbopuffer verabschiedet sich von der Vektor-Datenbank

RIP, vector database

turbopuffer verabschiedet sich von der Vektor-Datenbank

turbopuffer stellt seine Speicherarchitektur um: Der ANN-Vektorindex ist nicht länger der Primärindex, sondern wird zu einem Sekundärindex unter vielen. Der neue Engine, inoffiziell turbopuffer v3, soll mehr Query-Pläne bei größerem Maßstab bedienen. Der Blogbeitrag erklärt die Probleme des alten Designs – Speicher- und Schreibamplifikation sowie begrenzte Vektorisierung – und kündigt an, die Performance-Optimierung ab jetzt öffentlich zu begleiten.

Die Lösung für diese Probleme ist einfach: nicht auf die ANN-Adresse schlüsseln.
  1. gopalv

    > Diese Write Amplification ist groß genug, dass unsere Bemühungen, den Indexierungsdurchsatz zu optimieren, begonnen haben, abnehmende Erträge zu erzielen.

    > nicht auf die ANN-Adresse zu setzen. Genau das ist die Änderung, die turbopuffer v3 vornimmt. Wie Sie sich vorstellen können, ist das keine triviale Änderung.

    Dies ist eine direkte Parallele dazu, wie Postgres und Mysql Indizes erstellt haben.

    Ihre Designentscheidung ging von einem Postgres-Designmuster zu einem Mysql-Muster über. Der Unterschied sind die Reindexierungskosten im Vergleich zu den Suchkosten – Postgres wurde für Suchvorgänge optimiert, Mysql für die Indexierung bei Schreibvorgängen. Genauer gesagt: Postgres war besser mit gutem Schema-Design unter Verwendung von Joins, während Mysql für ein schlechtes Design mit weniger Normalisierung optimiert war, bei dem viele Indizes für dieselbe Tabelle existieren.

    Postgres zeigt immer auf eine row-id innerhalb von Postgres, einen willkürlichen Wert, der sich bei jedem Update ändert.

    Mysql, das immer davon ausgeht, dass die Storage Engine austauschbar ist, zeigt auf den Primärindex-Eintrag und fügt eine zusätzliche Indirektion für die Suche hinzu.

    Das bedeutet, dass Sie den Mysql-Index auf eine stabile ID zeigen lassen, sodass Sie, solange Sie den Primärschlüssel einer Zeile nicht aktualisieren, nicht die Indizes für alle Attribut-Lookups aktualisieren müssen, die Sie möglicherweise für Daten erstellt haben.

    Ich mache nicht mehr viel mit Datenbanken, aber das Design für das NIMBLE-Dateiformat hat viele Eigenheiten, die für diese spezifische Idee (breite Tabellen) relevant sind.

    Aber der alte Uber-Beitrag über den Wechsel von Postgres zu Mysql zur Vermeidung von Index-Amplification[1] ist ein direktes Spiegelbild dieses Beitrags.

    [1] - https://www.uber.com/us/en/blog/postgres-to […]

  2. pjmlp

    Ich habe ein Déjà-vu mit den NoSQL-Datenbanken und bleibe gerne bei klassischen SQL-Datenbanken für Daten, während sie die Funktionen erhalten, die nach dem Abklingen des Staubs wichtig sind.

  3. gk1

    Bei Vektordatenbanken ging es immer mehr um Retrieval als um Vektoren oder Datenspeicherung. Aber der Begriff hat sich allzu gut festgesetzt und die Unternehmen haben ein wenig zu lange daran festgehalten. Sorry :)

  4. real_faxenoff

    Ich entwickle ein lokales "Code Graph MCP Tool" (noch nicht veröffentlicht) und bin einen ähnlichen Weg gegangen, obwohl ich vielleicht weiter gehen konnte, da ich weniger Vektoren in meiner Datenbank habe (sogar bei Projekten mit 50 Mio. LOC).

    Zuerst habe ich all diese populären Vektordatenbanken ausprobiert und war von ihrer Leistung enttäuscht. Am Ende erwies sich der Aufbau eines Multi-Datenbank-Systems auf SQLite, kompiliert mit allem, was mit Multi-Client-Operationen zu tun hat, entfernt, als die beste und schnellste Lösung. Nur der Exklusivmodus blieb übrig. Alles ist so binär wie möglich. Der Index ist völlig separat – ein IVF mit Pre-Training – und wird auf der GPU aufgebaut (250K Vektoren werden in 4 Sekunden aufgebaut, verarbeitet und gespeichert). Im Moment ist mein größtes Problem die häufigen Datenänderungen, und ich muss Optimierungen implementieren, um Neuberechnungen zu reduzieren.

    Bisher habe ich keine Vektordatenbank-Implementierungen gesehen, die in die richtige Richtung gehen. Vielleicht sieht nur Lancedb vielversprechend aus, aber es ist zu schwer für meine Bedürfnisse.

  5. tschellenbach

    KI hat einige der verrücktesten Auf- und Abschwünge in der Tech-Branche, die ich je gesehen habe

  6. Tsarp

    Ich mochte lancedb für ähnliche Anwendungsfälle sehr. Nicht nur, dass es OSS ist. Aber Lance behandelt ANN als sekundären Index, ähnlich wie turbopuffer v3 es tut. Zeilen liegen in Fragmenten, und der Vektorindex verschiebt sie nie.

  7. croemer

    Das Dashboard wurde zuletzt am 7. September aktualisiert, es startete am 5. September. Ein Bug? Oder kein Fortschritt? Es ist im Blogbeitrag verlinkt, also würde ich erwarten, dass es funktioniert: https://turbopuffer.com/v3

  8. DevKoala

    Bald verkaufen sie dir einfach Markdown.

Mehr von diesem Tag

2026-10-01