turbopuffer, 벡터 데이터베이스에 작별을 고하다
RIP, vector database

turbopuffer가 저장 아키텍처를 v3로 전환한다. 기존에는 ANN 벡터 인덱스가 문서와 모든 보조 인덱스의 기본 키 역할을 했지만, 이제는 ANN을 여러 보조 인덱스 중 하나로 격하하고 ANN 주소에 키를 묶지 않는다. 이는 저장 및 쓰기 증폭을 줄이고 쿼리 계획별 최적 블록 크기를 가능하게 해, 더 다양한 쿼리에서 성능을 끌어올리기 위한 결정이다. 현재 v3는 CI를 100% 통과했지만 아직 성능 최적화가 시작 단계다.
이 문제들의 해결책은 간단하다: ANN 주소에 키를 두지 않는 것. 바로 이것이 turbopuffer v3가 하는 변화다.
HN 토론
105- gopalv
> 이 쓰기 증폭은 너무 커서 인덱싱 처리량을 튜닝하려는 우리의 노력이 수확 체감에 접어들기 시작했습니다.
> ANN 주소에 키를 두지 마세요. 바로 그것이 turbopuffer v3가 하는 변경입니다. 상상할 수 있듯이, 이는 사소한 변경이 아닙니다.
이것은 Postgres와 Mysql이 인덱스를 구축한 방식과 직접적으로 평행을 이룹니다.
당신의 설계 선택은 Postgres 설계 패턴에서 Mysql 패턴으로 이동한 것입니다. 차이는 재인덱싱 비용 대 조회 비용입니다. Postgres는 조회에 최적화했고 Mysql은 쓰기 시 인덱싱에 최적화했습니다. 더 정확히 말하면, Postgres는 조인을 사용한 좋은 스키마 설계에서 더 나았고, mysql은 같은 테이블에 많은 인덱스가 존재하는 정규화가 덜 된 나쁜 설계에 최적화되었습니다.
Postgres는 항상 인덱스를 postgres 내의 row-id를 가리키게 하는데, 이는 각 업데이트마다 변경되는 임의의 값입니다.
Mysql은 스토리지 엔진이 플러그 가능하다고 항상 가정하면서, 기본 인덱스 항목을 가리키고 조회에 추가 간접 계층을 더합니다.
이는 mysql 인덱스가 안정적인 id를 가리키게 한다는 뜻이므로, 행의 기본 키를 업데이트하지 않는 한, 데이터에 대해 수행했을 수 있는 모든 속성 조회에 대한 인덱스를 업데이트할 필요가 없습니다.
요즘 데이터베이스를 그렇게 많이 하지는 않지만, NIMBLE 파일 형식의 설계에는 이 특정 아이디어(와이드 테이블)와 관련된 많은 특이점이 있습니다.
하지만 인덱스 증폭을 방지하기 위해 Postgres에서 Mysql로 전환한 Uber의 예전 글[1]은 이 글과 직접적으로 대응됩니다.
- pjmlp
NoSQL 데이터베이스에서 데자뷔가 느껴지네요. 먼지가 가라앉은 후에 중요한 기능들을 갖추게 될 때까지 데이터에는 클래식 SQL 데이터베이스를 계속 사용하게 되어 기쁩니다.
- gk1
벡터 데이터베이스는 항상 벡터나 데이터 저장보다는 검색에 더 관한 것이었습니다. 하지만 용어가 너무 잘 붙어버려서 회사들이 그것을 조금 너무 오래 붙들고 있었습니다. 죄송합니다 :)
- real_faxenoff
저는 로컬 "코드 그래프 mcp 도구"(아직 공개되지 않음)를 개발 중이고 비슷한 길을 걸었습니다. 다만 제 데이터베이스에는 벡터가 더 적어서(50M LOC 규모의 프로젝트에서도) 더 나아갈 수 있었을지도 모릅니다.
처음에는 그 인기 있는 벡터 데이터베이스들을 모두 시도해봤지만 성능에 실망했습니다. 결국 최고이자 가장 빠른 해결책은 SQLite 위에 멀티 데이터베이스 시스템을 구축하는 것이었고, 멀티 클라이언트 작업과 관련된 모든 것을 제거하고 컴파일했습니다. 배타적 모드만 남겼습니다. 모든 것이 가능한 한 바이너리입니다. 인덱스는 완전히 별개입니다 — 사전 훈련이 있는 IVF — 그리고 GPU에서 구축됩니다(250K 벡터가 4초 만에 구축, 처리, 저장됩니다). 지금 제 가장 큰 문제는 빈번한 데이터 변경이며, 재계산을 줄이기 위한 최적화를 구현해야 합니다.
지금까지 올바른 방향으로 나아가는 벡터 데이터베이스 구현을 본 적이 없습니다. 아마도 Lancedb만 유망해 보이지만, 제 필요에는 너무 무겁습니다.
- tschellenbach
AI는 내가 본 기술 중 가장 미친 상승과 하락 사이클을 가지고 있습니다
- Tsarp
비슷한 사용 사례에서 lancedb를 정말 좋아했습니다. 단지 OSS라는 것뿐만 아니라, Lance는 ANN을 turbopuffer v3가 하는 것과 유사한 보조 인덱스로 취급합니다. 행은 프래그먼트에 있고, 벡터 인덱스는 절대 행을 이동시키지 않습니다.
- croemer
대시보드는 9월 7일에 마지막으로 업데이트되었고, 9월 5일에 시작되었습니다. 버그인가요? 아니면 진행이 없는 건가요? 블로그 글에 링크되어 있으니 작동할 것으로 기대됩니다: https://turbopuffer.com/v3
- DevKoala
곧 그들은 단지 당신에게 markdown을 팔 것입니다.