基于区块链的联邦学习综述-Blockchain-enabled Federated Learning A Survey.pptx

Qu,Youyang,etal.Blockchain-enabledfederatedlearning:Asurvey.ACMComputingSurveys55.4(2022):1-35.Blockchain-enabledFederatedLearning:ASurvey基于区块链的联邦学习综述学号：姓名：

Background/FederatedLearning联邦学习（FederatedLearning），最早由Google于2016年提出，为了解决用户的Android手机终端局部更新问题。从工业的角度，由于商业竞争、隐私安全、繁琐的审核流程，以及整合所有数据的成本过大，使得数据往往以数据孤岛的形式存在。联邦学习：各个用户节点使用相同的模型结构，允许每个参与用户的节点(Client)自行训练；Clients将训练参数上传至中心服务器(Server)，Server聚合各个节点参数；Server将参数下发至各个Client并部署继续新的一轮训练；重复这个过程直至模型收敛或满足其他条件。

Background/FederatedLearning从机器学习的角度上考虑的联邦学习，主要集中于：减少通信开销确保收敛；增加隐私保护解决数据异质性问题。设计的方法包括：重新设计局部模型更新策略重新设计聚合策略或者兼顾两者需要额外考虑的问题…联邦学习是中心处理无奖励机制缺少抵御攻击的防范措施

Background/Blockchain区块链(Blockchain)网络中的每个节点地位平等，通过共识算法和公共账本维持社区，可以在不可信的场景中实现信任。区块链与FL都是分布式且面向隐私/安全的(两者结合很自然)。区块链自身的优势可以缓解FL中存在的问题：区块链的特征允许去中心化或部分去中心化的FL，这避免了中间人攻击，单点故障等。内置的激励机制和高可用性保证了终端设备尤其是高性能终端设备参与积极性。区块链的真实性、拜占庭弹性、持久性和匿名性有助于FL安全和隐私保护。用区块链的“矿工”表示FL训练过程的实体(Client)，它们负责参与FL训练和达成共识。同时，生成候选块的矿工称为聚合矿工。

FL+Blockchain联邦学习如何帮助区块链：数据保护：现实中，大多数区块链应用都是基于私有链和联盟链，因此跨链技术应运而生，但跨链技术可能涉及隐私问题。联邦学习通过维护相同的机器学习模型，实现不同区块链的隐私保护跨链数据交换。节能共识算法：联邦学习也为开发节能共识算法提供了潜在的方向。在大多数共识算法中，尤其是基于PoW(ProofofWork)的算法中，矿工贡献大量计算资源来争夺区块链生成机会，这导致计算能力的巨大浪费。然而，如果共识过程可以与联邦学习过程结合，用这部分计算资源作为共识算法。通过这种方式，计算能力可以同时用于联邦学习和共识，从而节省计算。引入区块链后，FL的额外开销：计算开销：共识算法+交叉验证：基于PoW的共识算法基于PoS的共识算法混合的共识算法不论哪种共识算法，交叉验证过程都会消耗一定的计算开销，交叉验证需要通过在测试数据集来推理，测试全局模型参数。通信角度：公有链需要所有矿工将本地模型参数广播到全网。如果矿工数量很大，通信开销呈指数级增加。在生成候选块之后，候选块的传播需要所有矿工发送经过验证的数据并达成共识。在点对点网络中，达成共识过程需要进行的大量相互通信。

FL+Blockchain/Step初始化：遵循均匀分布，从预定义的目标函数和全局梯度中随机初始化参数。本地模型更新：终端设备根据所需的迭代次数训练本地模型。本地模型上传：矿工和终端设备绑定。终端设备将本地模型参数上传至矿机。另外，还上传相应的本地计算时间以供验证。交叉验证：矿工依次验证相关终端设备的模型参数和计算时间。计算时间是否与数据大小成正比决定了模型参数的可靠性。验证后的数据存储在矿工的潜在区块中，直到所有模型参数都经过验证并存储在区块中。区块生成：每轮都会运行共识算法。当获胜的矿工获得区块生成机会并生成候选区块时，它就会停止，同时迫使其他矿工停止竞争区块生成机会。区块传播：获胜矿工将候选区块作为新区块广播给各方。如果经过验证，系统中的所有矿工都会将新区块附加到其本地分类账上。为了防止分叉，如果矿工没有识别到??任何分叉，则会使用专门设计ACK信号并广播。每个矿工在收到所有其他矿工的ACK后才会添加账本。否则，该过程将被暂停并从头开始迭代。全局模型更新：所选矿工聚合所有本地模型参数，将新的全局参数写入块中。全局模型下载：允许所有终端设备从新块下载全局参数并决定是否继续下一轮。

Consensus-basedDecentralization完全去中心化FL：允许每个终端设备都有可能主导一轮特