ByteDance 揭秘 USDB：推荐系统存储新范式

USDB: Scaling Storage for Next-Generation Recommender Systems at ByteDance

随着推荐模型对长序列、高属性用户历史数据的依赖加深，存储系统面临写入频繁但读取量巨大的不对称挑战。ByteDance 推出了 USDB，一套专为流式与批处理负载设计的统一序列存储方案。通过 CascadeLSM 基于时间的压缩阶段、差异化副本共享持久文件、部分转储重构推理输入以及混合列式格式加速投影读取，USDB 实现了在数据摄入、推理和训练间复用维护成果。生产环境迁移数据显示，其平均写入延迟降低了 85.8%，基础设施成本降低了 42.1%。与优化的 RocksDB 基线相比，USDB 在长历史读取和多种投影场景下表现更优，同时聚合下推技术在受限接收预算下实现了 8.5 倍的吞吐量提升。