turbopuffer отказывается от векторного индекса как первичного
RIP, vector database

turbopuffer меняет архитектуру хранения: ANN-индекс перестаёт быть первичным и становится вторичным. Это устранит дублирование данных, избыточные записи и ограничения на размер блоков. В v3 уже проходят все CI-тесты, но производительность пока ниже продакшена — компания начала оптимизацию и обещает ускорить больше запросов.
Решение этих проблем простое: не использовать ANN-адрес в качестве ключа. Именно это изменение и вносит turbopuffer v3.
- gopalv
> This write amplification is large enough that our efforts to tune indexing throughput have started to hit diminishing returns.
> don't key on the ANN address. That is precisely the change turbopuffer v3 makes. As you can imagine, it is not a trivial change.
Это прямая параллель с тем, как Postgres и Mysql строили индексы.
Ваш выбор дизайна перешёл от паттерна проектирования Postgres к паттерну Mysql. Разница в стоимости переиндексации против стоимости поиска — Postgres оптимизировался под поиск, а Mysql — под индексацию при записи. Или, точнее, Postgres был лучше при хорошем проектировании схемы с использованием join'ов, а mysql оптимизировался под плохой дизайн с меньшей нормализацией, где для одной таблицы существует множество индексов.
Postgres всегда указывает индекс на row-id внутри postgres, который является произвольным значением, меняющимся при каждом обновлении.
Mysql, всегда предполагая, что движок хранилища подключаемый, указывает на запись первичного индекса и добавляет дополнительную косвенность при поиске.
Это означает, что вы указываете индекс mysql на стабильный id, так что если вы не обновите первичный ключ строки, вам не придётся обновлять индексы для всех поисков по атрибутам, которые вы могли сделать по данным.
Я уже не так много занимаюсь базами данных, но дизайн формата файлов NIMBLE имеет много особенностей, которые релевантны этой конкретной идее (широкие таблицы).
Но старый пост Uber о переходе с Postgres на Mysql для предотвращения амплификации индексов[1] — прямое отражение этого поста.
- pjmlp
У меня дежавю с NoSQL базами данных, рад продолжать использовать классические SQL базы данных для данных, пока они получают функции, которые важны, после того как пыль уляжется.
- gk1
Векторные базы данных всегда были больше о поиске, чем о векторах или хранении данных. Но термин прижился слишком хорошо, и компании держались за него чуть дольше, чем следовало. Извините :)
- real_faxenoff
Я разрабатываю локальный «code graph mcp tool» (пока не опубликован) и прошёл похожий путь, хотя, возможно, смог пойти дальше, так как у меня меньше векторов в базе данных (даже на проектах с 50M LOC).
Сначала я попробовал все те популярные векторные базы данных и был разочарован их производительностью. В конце концов, лучшим и самым быстрым решением оказалось построение мультибазовой системы на SQLite, скомпилированной с удалением всего, что связано с многоклиентскими операциями. Оставлен только эксклюзивный режим. Всё максимально бинарно. Индекс полностью отдельный — IVF с предобучением — и строится на GPU (250K векторов строятся, обрабатываются и сохраняются за 4 секунды). Сейчас моя самая большая проблема — частые изменения данных, и мне нужно реализовать оптимизации для уменьшения пересчётов.
Пока я не видел ни одной реализации векторной базы данных, которая движется в правильном направлении. Может быть, только Lancedb выглядит многообещающе, но она слишком тяжёлая для моих нужд.
- tschellenbach
У ИИ одни из самых безумных циклов взлётов и падений в технологиях, которые я когда-либо видел
- Tsarp
Мне очень понравился lancedb для похожих случаев использования. Не только потому, что это OSS. Но Lance относится к ANN как к вторичному индексу, подобно тому, что делает turbopuffer v3. Строки лежат во фрагментах, и векторный индекс никогда их не перемещает.
- croemer
Дашборд был последний раз обновлён 7 сентября, а начался 5 сентября. Баг? Или нет прогресса? Он указан в блог-посте, так что ожидалось, что он будет работать: https://turbopuffer.com/v3
- DevKoala
Скоро они просто будут продавать вам markdown.