Privacy-Preserving Deep Learning.pptx

Privacy-Preserving Deep LearningCCS’15,October 12–16, 2015, Denver, Colorado, USA Reza ShokriVitaly Shmatikov The University of Texas at AustinCornell Tech shokri@cs.utexas.edushmat@cs.cornell.edu报告人：许元馨2015/12/31动机私人的数据共享在许多领域是不被法律或法规所允许的，尤其是那些与医学相关的领域。因此，生物医学、临床研究人员只能应用属于自己机构的数据集进行深度学习。众所周知，神经网络模型要变的更好需要训练大量且多样化的数据集。由于无法使用其他机构的数据训练他们的模型，研究人员可能最终得到较差的模型。例如，一个组织（例如，一个特定的医疗诊所）拥有的数据可能非常均匀，容易生产一个过拟合模型，它将在其他地方投入使用时变得不准确。（所谓过拟合（Overfit），是这样一种现象：一个假设在训练数据上能够获得比其他假设更好的拟合，但是在训练数据外的数据集 上却不能很好的拟合数据。）背景人工神经网络和Deep Learning分布式选择随机梯度下降（Distributed Selective SGD）差分隐私深度学习（Deep Learning）深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。人工神经网络 ——神经元的数学模型神经元 j 的输入输出人工神经网络 ——网络结构层次性结构人工神经网络 ——神经网络学习有监督学习人工神经网络 ——神经网络学习人工神经网络 ——BP神经网络人工神经网络 ——梯度下降算法方法分布式选择随机梯度下降（Distributed Selective SGD）系统架构算法解释DSSGD更新参数的选择：选择当前值是离他们的局部最优解更远的参数，即，那些具有更大梯度的参数。分布式协同学习：假设两个或多个参与者同时独立训练，每一轮的局部训练之后，参加者异步地共享彼此的部分参数的梯度。每名参与者完全控制其梯度共享的频率。对于给定参数计算出的所有梯度总和决定了朝向参数局部最优的全局梯度下降幅度。因此，参与者从其他参与者训练数据中得益的数据并不会包含原始数据本身。我们假设一个抽象的中央服务器用于参与者异步的上传梯度。该服务器累计全部梯度到相应的参数值。每个参与者从服务器下载的参数的一个子集，并用它们来更新自己的局部模型。系统架构我们假定有N个参与者，其中每名参与者都具有本地私有数据集可用于训练。所有参与者都预先同意一个共同的网络结构和学习目标。我们假设存在一个参数服务器是负责维护最新参数值提供给所有各方。每个参与者初始化参数，然后在自己的本地数据集中训练。该系统包括一个参数交换协议：参与者上传被选择的神经网络参数的梯度到参数服务器，并下载最新的参数值在每个本地SGD epoch。协议允许参与者：（i）独立地收敛到一组参数;（ii）避免过度拟合这些参数到单个参与者的本地训练数据集。一旦该网络进行训练，每个参与者可以独立并私下评估它的新数据，而不与其他参与者进行交互。系统架构 ——本地训练（i）参加者从服务器下载θd参数的一部分并覆盖他的本地参数与下载的值。（ii）对他的本地数据集运行一个epoch的SGD训练。这种训练可以在小批量的序列进行; （iii）参与者计算Δw(i)，即在步骤2中所有改变的参数向量，在一个SGD epoch结束后，我们将Δw(i)j的梯度作为j的参数。Δw(i)值反映了每个参数发生了多大的改变使本地数据集第i个参与者得到更精确的模型。这些信息也正是其他参与者为避免过度拟合所需要合并的数据。系统架构 ——本地训练（iv）上传Δws(i)到参数服务器的标准：（a）选择梯度下降快的参数；（b）随机选择比阈值τ大的值的子集；上传的所选梯度Δws(i)被截取到[-r; r]的范围内。并且加入了随机噪声。（差分隐私）系统架构 ——参数服务器参数服务器初始化参数向量w（global），然后处理参与者的上传和下载请求。当有人上传梯度，服务器添加上传Δw j值对应的全局参数，并为每个参数j更新该元数据和计数器STATj。增加了最近更新的参数的权重，该服务器可以通过一个衰减因子β，周期性乘以计数器STAT，即，stat := β · stat。这些统计在下载时被使用的，参与者从服务器获得具有最大STAT值的参数的最新值。每个参与者通过设定θd决定下载这些参数的哪一部分。创新特定领域下的隐私保护问题分布式选择SGD模型评价CNN差分隐私参数的选择