ByteDanceが推薦システム向けストレージUSDBを公開、書き込みレイテンシを85.8%削減
USDB: Scaling Storage for Next-Generation Recommender Systems at ByteDance
推薦モデルが扱うユーザー履歴は長く属性も増え、小さな更新と大規模な読み出しの非対称性が課題になっている。ByteDanceの統一シーケンスストレージUSDBは、時間ベースのコンパクション、レプリカ間のファイル共有、部分ダンプによる推論入力の再構築、列指向フォーマットを組み合わせ、取り込み・推論・学習で保守結果を再利用する。本番移行では平均書き込みレイテンシが85.8%減、インフラコストが42.1%減となった。
集約プッシュダウンは、受信帯域が制約された状況下で通常の読み出しの8.5倍のスループットを維持する。
- bashhq_r
なるほど、ByteDanceはこのためにカスタムストレージを構築できる余裕があるってわけだ。一方こっちはと言えば、ユーザーシーケンスをRedisのソート済みセットに無理やり押し込もうとしている始末だよ。
- BenoitP
職場で古典的なDLRMをセットアップしているんだけど、挙手をお願いしたい：生成型レコメンダーやLRMへのギャップを埋めることに成功した人はいる？
我々の調査ではかなり大量の課題が特定された：プロダクトのカーディナリティ（Semantic IDs？）、識別型レコメンダーと比べた性能の低さ（我々のユーザーインテントは繰り返しの製品に強く偏っている）、コールドスタート、エンティティ特徴量、説明可能性スイートの欠如、トレーニングコスト、予測コストなどなど。
誰か簡単にやれた人いる？生成型レコメンダーのチュートリアルはどこにあるの？
- mikert89
レコメンダーの未来は、エージェントがあなたのデータをページめくりして、次に最適な選択肢を選び出そうとするだけのものになるんだよ。