多方协同下的联邦学习加密协议设计与模型准确率实验评测.pdfVIP

多方协同下的联邦学习加密协议设计与模型准确率实验评测1

多方协同下的联邦学习加密协议设计与模型准确率实验评测

1.联邦学习基础与多方协同背景

1.1联邦学习定义与分类

联邦学习（FederatedLearning,FL）是一种分布式机器学习范式，允许多个参与方

在本地数据不出域的前提下协同训练全局模型。其核心思想由Google在2016年首次

1

提出，旨在解决数据隐私与模型性能之间的矛盾。

2

根据数据分布特征，联邦学习可分为三类：

•横向联邦学习（HorizontalFL）：参与方数据特征空间相同但样本ID不同，如

3

多家医院共享疾病诊断模型。典型应用包括GoogleGboard输入法预测，覆盖

1.5亿终端设备，模型准确率达92%。

•纵向联邦学习（VerticalFL）：参与方样本ID重叠但特征空间不同，如银行与

4

电商平台联合风控。微众银行采用此模式使信贷违约预测AUC提升14%。

•联邦迁移学习（FederatedTransferLearning）：适用于数据特征和样本ID均

不重叠的场景，通过迁移学习实现知识共享。华为诺亚方舟实验室在跨语言翻译

5

任务中实现BLEU值提升8.7%。

1.2多方协同场景与挑战

典型应用场景呈现三大特征：

1.参与方规模：工业级部署通常涉及10-10,000个节点，如蚂蚁集团的反欺诈系统接

6

入超过8,000家金融机构。

1McMahanetal.“Communication-EfficientLearningofDeepNetworksfromDecentralizedData”.

AISTATS2017.

2QiangYangetal.“FederatedLearning:Challenges,Methods,andFutureDirections”.IEEESignal

ProcessingMagazine2019.

3Hardetal.“FederatedLearningforMobileKeyboardPrediction”.arXiv2018.

4微众银行.“联邦学习在信贷风控中的应用实践”.中国金融电脑2021.

5Zhengetal.“FederatedTransferLearningforCross-lingualNLP”.EMNLP2021.

6蚂蚁集团.“蚂蚁链摩斯隐私计算一体机白皮书”.2023.

1.联邦学习基础与多方协同背景2

7

2.数据异构性：医疗领域CT影像数据在设备厂商间的分布差异可达40%以上，导

致模型收敛困难。

3.通信开销：5G基站负载预测场景中，单次全局迭代需传输300MB参数，占总训

8

练时长的65%。

主要技术挑战包括：

：数据使模型准确率下降9CIFAR-10

•统计异质性Non-IID