ByteDance снизила задержку записи в хранилище для рекомендаций на 85,8%
USDB: Scaling Storage for Next-Generation Recommender Systems at ByteDance
Рекомендательные модели всё чаще работают с длинной историей пользователя: много мелких обновлений и повторяющиеся большие чтения. Для этого ByteDance построила USDB — единое хранилище последовательностей для потоковых и пакетных задач. CascadeLSM упорядочивает компакции по времени, дифференцированные реплики делят файлы, частичные дампы собирают входы инференса из свежего состояния и версионированной истории, а гибридный колоночный формат ускоряет чтение с проекциями. В продакшене средняя задержка записи упала на 85,8%, стоимость инфраструктуры — на 42,1%.
Агрегация с выталкиванием вниз поддерживает пропускную способность в 8,5 раза выше, чем обычные чтения, при ограниченном бюджете приёма.
- bashhq_r
Так что у ByteDance есть роскошь строить кастомное хранилище для этого, а мы тут пытаемся впихнуть пользовательские последовательности в sorted sets Redis
- BenoitP
Настраиваю классический DLRM на работе, поднимите руки: кто смог преодолеть разрыв до генеративных рекомендателей или LRM?
Наш опрос выявил довольно внушительный список проблем: кардинальность продуктов (Semantic IDs?), низкая производительность по сравнению с дискриминативными рекомендателями (наши пользовательские интенты сильно смещены в сторону повторяющихся продуктов), холодный старт, признаки сущностей, отсутствие набора для объяснимости, стоимость обучения, стоимость предсказания и т.д.
Кто-нибудь сделал это легко? Где туториал по генеративным рекомендателям?
- mikert89
Будущее рекомендателей — это просто агент, который листает ваши данные и пытается выбрать лучшие следующие варианты