正交低秩嵌入稳定化.pdfVIP

正交低秩嵌入稳定化

KevinZielnicki

Ko-JenHsiao

kzielnicki@

khsiao@

Netflix

LosGatos,California,USA

摘要新训练和重新部署周期紧密结合，在每次重新训练时

假设嵌入空间结构的有效性被否定的情况下引入复杂

嵌入空间在模型重新训练周期中的不稳定给使用推荐

的错误风险[4]。通常，使用来自基础模型的用户和项

本系统中用户或项目嵌入作为输入特征的下游应用程序

目嵌入的下游模型可以与其一同重新训练以避免兼容

译带来了重大挑战。本文介绍了一种新颖的正交低秩转性问题。然而，考虑一个场景，其中下游应用程序每

中换方法，旨在稳定用户/项目嵌入空间，并确保在重新天抽取1000万用户，生成用户特征，并使用基础模型

训练会话期间保持一致的嵌入维度。我们的方法利用

1产生用户嵌入。应用模型每日进行重新训练，利用过

v高效低秩奇异值分解和正交Procrustes变换的组合将

4去三个月产生的日特征和嵌入作为其训练数据，这大

7嵌入映射到标准化空间。该转换计算效率高、无损且

5轻量级，在减少操作负担的同时保留点积和推理质量。约相当于9亿个用户嵌入。如果基础模型每天从头开

7始重新训练，那么每天再生或回填所有这些9亿个嵌

0与现有的修改训练目标或嵌入结构的方法不同，我们

.入变得不可行、缓慢或昂贵，特别是当基础模型的复

8的方法保持了主要模型应用的完整性，并可以无缝集

0杂性或用户交互数据量很高时[8]。

5成其他稳定技术。

2为了解决这个问题，人们可能会考虑通过额外的

:

v正则化来强制执行重新训练运行之间的嵌入相似性[11]。

i

x1介绍然而，这种方法会降低训练效率，并且仍然无法确保

r

a不同重新训练会话之间嵌入维度的完全兼容性。另一

许多推荐模型依赖于内部嵌入来将用户和项目建模为

种方法是将基础模型的重新训练频率减少到例如每月

最终推理输出[5,9]的中间步骤。这些嵌入以固定维度

一次，以最小化频繁回填的需求。然而，这种做法随着

的向量表示形式封装了模型对用户和项目的理解[1]。

时间的推移可能会因为用户行为的变化而退化嵌入质

使嵌入表示对于推荐模型有用的相同特性，也可以让

量[