纵向联邦学习算法的优化与应用.pdfVIP

纵向联邦学习算法的优化与应用

摘要

数据孤岛是企业或组织内部不同部门、系统或应用程序之间存在的信息隔离

现象。这些不同系统中孤立的数据集由于安全和隐私保护的要求而无法有效地与

其他数据源整合或共享，从而限制了数据分析的广度和深度。联邦学习是解决数据

孤岛问题的一种主要技术手段，其可在保证用户数据不出本地的前提下完成合作

建模。纵向联邦学习作为联邦学习的一种，允许多个参与者在保持数据隐私的前提

下，提供各自的数据特征来共同训练模型。然而，其在处理效率和数据安全性方面

仍面临问题。鉴于此，本文旨在探索并优化纵向联邦学习算法在深度神经网络中的

应用，尤其聚焦于硬件加速技术的融合与创新，对以下内容进行了研究以应对这些

问题：

（1）面向隐私保护的纵向联邦深度神经网络方法。本文研究了联邦深度神经

网络方法和同态加密算法，在普通的中心化深度神经网络和联邦学习的基础上，通

过引入同态加密算法改进深度神经网络的传播过程，提出了一种无需第三方的纵

向联邦深度神经网络方法，提高了参与方的数据安全性，使得模型效果接近于中心

化深度神经网络的模型效果。

（2）基于可重构芯片的同态加密硬件加速。本文集中研究了可重构芯片技术

的同态加密算法，通过设计专门的硬件加速结构，基于可重构芯片实现同态加密算

法，将联邦深度神经网络的同态加密计算从CPU中卸载到了专用硬件中，降低了

CPU运算负载，减少了CPU算力要求，并且，还可通过硬件并行方式对加解密运

算进行加速，从而提高建模速度。

（3）基于硬件加速的联邦深度学习一体机。本文基于以上的纵向联邦深度神

经网络方法和基于可重构芯片的同态加密硬件加速技术，设计实现了基于硬件加

速的联邦深度学习一体机。实现过程中结合Spark和硬件虚拟化设计软硬件集群计

算架构，解决了海量数据训练的硬件加速问题。该一体机的开发不仅体现了硬件与

软件协同工作在提升联邦学习效率方面的潜力，也为联邦学习的实际应用提供了

新的可能性。

关键词纵向联邦学习；深度神经网络；同态加密；可重构芯片；软硬一体机

-I-

OptimizationandApplicationofVerticalFederated

LearningAlgorithms

Abstract

Datasilosrefertothephenomenonofinformationisolationthatexistsbetween

differentdepartments,systems,orapplicationswithinacompanyororganization.These

isolateddatasetsindisparatesystems,duetosecurityandprivacyprotectionrequirements,

cannotbeeffectivelyintegratedorsharedwithotherdatasources,therebylimitingthe

breadthanddepthofdataanalysis.Federatedlearningisaprimarytechnologicalmeans

toaddresstheissueofdatasilos,enablingcollaborativemodelingwhileensuringthatuser

dataremainslocal.

Verticalfederatedlearning,atypeoffederatedlearning,allowsmultipleparticipants

tocontributetheirdatafeaturesforjointmodeltrainingwhilemaintainingdataprivacy.

However,itstillfaceschallengesinprocessingeffi