ByteDance senkt Schreiblatenz seines Empfehlungsspeichers um 85,8 Prozent
USDB: Scaling Storage for Next-Generation Recommender Systems at ByteDance
Empfehlungsmodelle lesen immer längere Nutzerhistorien, während kleine Updates ständig nachfließen – eine Speicher-Asymmetrie, die ByteDance mit USDB adressiert. Das System vereint Streaming- und Batch-Workloads: CascadeLSM verdichtet Historien zeitbasiert, differenzierte Replicas teilen persistente Dateien, partielle Dumps rekonstruieren Inferenz-Eingaben, und ein hybrides Spaltenformat beschleunigt projektionierte Reads. In der Produktion sinkt die mittlere Schreiblatenz um 85,8 Prozent, die Infrastrukturkosten um 42,1 Prozent.
Aggregation Pushdown erreicht 8,5-mal den Durchsatz gewöhnlicher Reads bei begrenztem Empfangsbudget.
- bashhq_r
Also hat ByteDance den Luxus, dafür einen maßgeschneiderten Speicher zu bauen, während wir hier drüben versuchen, Benutzersequenzen in Redis Sorted Sets hineinzuzwängen.
- BenoitP
Ich setze bei der Arbeit ein klassisches DLRM auf. Handzeichen: Wer hat es geschafft, die Lücke zu generativen Recommenders oder LRMs zu schließen?
Unsere Umfrage hat eine ziemlich umfangreiche Liste von Herausforderungen identifiziert: Produktkardinalität (Semantic IDs?), geringe Leistung im Vergleich zu diskriminativen Recommenders (unsere Nutzerabsichten sind stark auf repetitive Produkte ausgerichtet), Cold Starts, Entitätsmerkmale, fehlende Explainability-Suite, Trainingskosten, Vorhersagekosten usw.
Hat das jemand einfach hinbekommen? Wo ist das Tutorial für generative Recommenders?
- mikert89
Die Zukunft der Recommenders ist einfach ein Agent, der durch deine Daten blättert und versucht, die besten nächsten Optionen auszuwählen.