ByteDance reduce un 85,8 % la latencia de escritura con su nuevo almacenamiento USDB
USDB: Scaling Storage for Next-Generation Recommender Systems at ByteDance
Los modelos de recomendación manejan historiales de usuario cada vez más largos, lo que crea una asimetría entre las escrituras pequeñas y continuas y las lecturas masivas y repetidas. USDB, el almacenamiento unificado de secuencias de ByteDance, combina CascadeLSM, réplicas diferenciadas, volcados parciales y un formato columnar híbrido para reutilizar el mantenimiento entre ingesta, inferencia y entrenamiento. En producción logra un 85,8 % menos de latencia media de escritura y un 42,1 % menos de coste de infraestructura, además de lecturas de historiales largos más rápidas que un baseline de RocksDB optimizado.
La agregación pushdown sostiene 8,5 veces el throughput de las lecturas ordinarias bajo un presupuesto de recepción restringido.
- bashhq_r
Así que ByteDance tiene el lujo de construir almacenamiento personalizado para esto, mientras que nosotros aquí estamos intentando meter con calzador las secuencias de usuarios en sorted sets de Redis
- BenoitP
Montando un DLRM clásico en el trabajo, que levanten la mano: ¿quién ha conseguido salvar la brecha hacia los recomendadores generativos o los LRMs?
Nuestra encuesta identificó una lista bastante sustancial de desafíos: cardinalidad de producto (¿Semantic IDs?), bajo rendimiento frente a los recomendadores discriminativos (nuestras intenciones de usuario están fuertemente sesgadas hacia productos repetitivos), cold starts, features de entidad, falta de una suite de explicabilidad, coste de entrenamiento, coste de predicción, etc.
¿Alguien lo ha hecho con facilidad? ¿Dónde está el tutorial para recomendadores generativos?
- mikert89
El futuro de los recomendadores es simplemente un agente hojeando tus datos y tratando de elegir las mejores opciones siguientes