基于联邦学习的推荐系统综述.pptx

基于联邦学习的推荐系统综述;

l引言

-背景

-联邦学习概述

-联邦推荐概述

l联邦推荐系统的架构设计

l推荐系统的联邦化

l隐私保护技术在联邦推荐系统中的应用

l未来研究展望

l致谢;

l在传统的推荐算法中，为了构建一个全局的模型，通常需要收集所有用户的原始数据并上传至服务端,这样的做法往往存在用户隐私泄漏的问题。

l联邦学习使得在模型训练的整个过程中，用户的原始数据始终保留在用户（客户端）本地，服务端和用户之间通过共享加密的或不包含隐私信息的中间参数的方式，进行模型训练和参数更新，进而在保护用户隐私的前提下构建一个有效的机器学习模型。

l随着联邦学习技术的发展，对基于联邦学习的推荐算法（以下称“联邦推荐”）的研究也越发受到工业界和学术界的关注。

l本文主要对基于联邦学习的推荐系统的研究进行综述。;

l联邦学习本质上是一种既联合多方又不共享各方原始数据的分布式学习框架，在保护各个参与方数据中的隐私的前提下，联合各个参与方共同训练，得到一个共享的模型。

l与传统的分布式学习框架相比：联邦学习中的各个参与方通常对自己的数据具有绝对的控制权。

l联邦学习可按模型的架构、模型的联邦化、模型的优化和隐私保护技术的应用4个角度进行分类。;;

联邦学习的模型架构示意图

客户端-服务端架构和去中心化架构的相同之处在于：

l客户端的原始数据不离开本地，通过服务端与客户端之间的通信或客户端与客户端之间的通信，以发送中间参数的训练方式来得到一个共享的模型。;

l与联邦学习的分类类似，我们从架构设计、系统的联邦化和隐私保护技术的应用3个角度，论述基于联邦学习的推荐系统的研究进展。

l对于模型的优化，由于目前在联邦推荐系统方面的相关工作较少，我们将在未来工作部分进行讨论。;;

l引言

l联邦推荐系统的架构设计

-客户端-服务端架构

-去中心化架构

l推荐系统的联邦化

l隐私保护技术在联邦推荐系统中的应用

l未来研究展望l致谢;

在一般联邦学习领域中，对于客户端-服务端架构,较为通用的训练流程为：

(1)服务端初始化模型参数，并将模型参数发送给各个客户端；

(2)客户端利用本地数据和最新的模型参数进行训练，并将中间参数发送给服务端；

(3)服务端聚合中间参数，更新全局模型，再把模型回传给客户端；

(4)重复步骤（2）和（3），直到模型收敛。;

我们以FCF（federatedcollaborativefiltering）[28]为例，介绍客户端-服务端架构在面向传统协

同过滤算法时较为通用的训练流程。

FCF使用用户特征向量和物品特征向量的内积来表示用户对物品的评分,即

ui=Uu.viT,

其中，Uu.表示用户u的特征向量，vi.表示物品i的特征向量。

l用户和物品的交互数据需要保留在客户端本地；

lUu.表征用户的偏好信息，也需要保留在客户端本地。;

（1）服务端初始化物品特征矩阵V并发送给每个客户端；

（2）在每一轮迭代中，客户端使用本地数据，基于最小二乘法计算得到uu.的解析解，即

其中，yui∈{0,1}是指示变量，1+λyui是置信度权重，α是正则化项上的权衡参数，I为单位矩阵；

（3）客户端计算并上传所有物品特征向量的梯度给服务端；

（4）服务端聚合客户端上传的物品特征向量的梯度，更新物品特征矩阵，并将最新的物品特征矩阵发送给所有客户端；

（5）重复多轮的迭代训练，直到模型收敛。;

在一般联邦学习领域中，对于去中心化架构，较为通用的训练流程为：

（1）服务端初始化模型参数，然后将模型参数发送给各个客户端；

（2）客户端利用本地数据进行模型训练，并将中间参数发送给其他客户端；

（3）客户端接收其他客户端的中间参数，更新本地的模型；

（4）重复步骤（2）和（3），直到模型收敛。;

去中心化的分布式矩阵分解框架(DMF)[29]解决了面向兴趣点(POI)推荐中的物品排序问题中的隐私问

题，其训练流程如下：

l首先，DMF基于用户的位置信息构建用户邻接图；

l然后，通过随机游走方法选择一些邻居用户进行通信；

l进一步，每个用户u计算用户特征向量的梯度（用于本地更新用户特征向量uu.）、本地物品特征向量的梯度（用于本地更新物品特征向量vilcl,u）和全局物品特征向量的梯度（发送给邻居用户，用于更新全局的物品特征向量viglb,uI）。

特点：保护了用户的原始评分数据，节省了服务端的资源，且DMF的模型效果优于MF和BPR。

局限性：构建用户邻接图时需要收集用户的地理位置信息，这种做法泄露了用户的隐私。;

用户能自主调节自身隐私级别的去中心化分布式矩阵分解框架（PDMFRec）[30]解决了D