turbopufferがベクターDBを捨て、ANNを「ただの」セカンダリインデックスに
RIP, vector database

turbopufferはストレージアーキテクチャを刷新し、ANNベクターインデックスを主キーとする設計をやめる。これによりストレージ増幅、書き込み増幅、ベクトル化の制約を解消し、より多様なクエリプランを大規模に提供できるようになる。v3はCIが100%通過したが、性能はまだこれからチューニングしていく段階だ。
解決策はシンプルだ。ANNアドレスをキーにしないこと。それこそがturbopuffer v3が行う変更である。
HNでの議論
105- gopalv
> この書き込み増幅は十分に大きいため、インデックススループットを調整する我々の取り組みは収穫逓減に直面し始めている。
> ANNアドレスをキーにするな。まさにそれがturbopuffer v3が行う変更だ。ご想像のとおり、これは些細な変更ではない。
これはPostgresとMySQLがインデックスを構築した方法と直接平行する話だ。
あなたの設計上の選択は、Postgresの設計パターンからMySQLのそれへと移行した。違いは再インデックスコスト対ルックアップコストだ。Postgresはルックアップに最適化し、MySQLは書き込み時のインデックス作成に最適化した。より正確には、Postgresはジョインを使った優れたスキーマ設計でより良く機能し、MySQLは同じテーブルに対して多数のインデックスが存在するような正規化の少ない悪い設計に最適化されていた。
Postgresは常にインデックスをPostgres内のrow-id(更新ごとに変わる任意の値)を指すようにする。
MySQLは、ストレージエンジンがプラガブルであることを常に前提とし、プライマリインデックスのエントリを指し、ルックアップに余分な間接参照を追加する。
つまり、MySQLのインデックスを安定したIDに向けるので、行のプライマリキーを更新しない限り、データに対して行った可能性のあるすべての属性ルックアップのインデックスを更新する必要はない。
私はもうデータベースをそれほどやらないが、NIMBLEファイルフォーマットの設計には、この特定のアイデア(ワイドテーブル)に関連する多くの癖がある。
しかし、インデックス増幅を防ぐためにPostgresからMySQLに切り替えたというUberの古い投稿[1]は、この投稿を直接反映している。
- pjmlp
NoSQLデータベースにはデジャヴを感じる。ありがたいことに、データには従来のSQLデータベースを使い続けている。埃が落ち着いた後に重要となる機能がそれらに備わるのを待ちながら。
- gk1
ベクターデータベースは常にベクターやデータストレージというよりも検索に関わるものだった。しかし、その用語はあまりにも定着してしまい、企業はそれを少しばかり長く手放さなかった。すみません :)
- real_faxenoff
私はローカルの「コードグラフMCPツール」を開発中で(まだ公開していない)、似た道を辿った。ただし、データベース内のベクター数が少ないため(5000万行のコードのプロジェクトでも)、さらに先へ進めたかもしれない。
最初は、それら人気のベクターデータベースをすべて試したが、そのパフォーマンスに失望した。結局、最良かつ最速の解決策は、SQLite上にマルチデータベースシステムを構築することだった。マルチクライアント操作に関連するすべてを取り除いてコンパイルし、排他モードだけを残した。すべては可能な限りバイナリで。インデックスは完全に別で、事前トレーニング付きのIVFで、GPU上で構築される(25万ベクターが4秒で構築、処理、保存される)。今、私の最大の問題は頻繁なデータ変更であり、再計算を減らすための最適化を実装する必要がある。
これまで、正しい方向に進んでいるベクターデータベースの実装は見たことがない。おそらくLancedbだけが有望に見えるが、私のニーズには重すぎる。
- tschellenbach
AIには、私が今まで見たテクノロジーの中で最も狂ったアップダウンサイクルがある
- Tsarp
同様のユースケースでlancedbが本当に気に入っている。OSSであるだけでなく。LanceはANNをturbopuffer v3が行うのと同様にセカンダリインデックスとして扱う。行はフラグメントに存在し、ベクターインデックスがそれらを移動させることは決してない。
- croemer
ダッシュボードは9月7日に最後に更新され、9月5日に始まった。バグか?それとも進捗なし?ブログ記事にリンクされているので、機能することを期待するだろう: https://turbopuffer.com/v3
- DevKoala
まもなく彼らはただマークダウンを売るだけになるだろう。