联邦学习的参数更新方法-崔成钢.pdfVIP

ThenameoftheDepartment

BeijingForestStudio

部门名称

北京理工大学信息系统及安全对抗实验中心

联邦学习的参数更新方法

硕士研究生崔成钢

2021年09月25日

内容提要

•背景简介

•基本概念

–联邦学习

–非独立同分布

•算法原理

–FedAvg

–FedProx

•应用总结

•参考文献

2

预期收获

•预期收获

–1.了解隐私保护和机器学习的基本关系

–2.了解联邦学习及其分类

–3.了解联邦学习中的参数传递方法

–4.了解应用领域和发展方向等

3

背景简介

•隐私保护和机器学习

4

背景简介

•提出背景

–在传统的机器学习中，模型的效率和准确性依赖于集中式服务器的计算能力和训

练数据，即用户数据存储在中央服务器上，用于培训和测试过程，以便最终开发

全面的ML模型

–基于集中式ML方法的挑战

•计算能力

•计算时间

•数据的安全性和隐私性被忽视

5

基本概念

•联邦学习（FederatedLearning）

–联邦学习思想

•是一种机器学习设定，其中许多客户端（例如，移动设备或整个组织）在中央服务器

（例如，服务提供商）的协调下共同训练模型，同时保持训练数据的去中心化及分散

性

•联邦学习分类

–按照应用场景区分：跨孤岛、跨设备

跨孤岛跨设备

例子医疗机构手机端应用

节点数量1~1001~10^10

节点状态节点几乎稳定运行大部分节点不在线

主要瓶颈计算瓶颈和通信瓶颈传输速度和设备状态

6

基本概念

•联邦学习分类

–按照参与各方数据分布区分：横向联邦、纵向联邦

•横向联邦：参与者特征重叠较多，本身ID重叠较少。比如业务相同但是分布在不同

地区的两家企业

•纵向联邦：本身ID重叠较多，特征重叠较少。比如同一个地区不同业务的两家企业

特征重叠较多本身ID重叠较多

7

基本概念