差分隐私保护下的流数据更新估计研究.pdf

摘要

摘要

当今大数据时代机器学习技术发挥了重要的作用，在图像识别、推荐系

统和自然语言处理等领域都取得了令人瞩目的成功，这部分归功于用于训练

机器学习模型的数据集。然而这些数据集很可能包含个人的敏感信息，直接

发布数据或是将数据用于训练模型存在隐私泄露的风险。因此，如何在保护

用户隐私的前提下更加有效的挖掘和利用数据是亟待解决的问题。差分隐私

技术是针对隐私泄露问题的一种有效手段，通过在查询结果上添加满足一定

分布的噪声，使得攻击者无法判断某个用户是否在数据集里，即便该攻击者

具备较强的背景知识。

本文聚焦流数据的参数估计问题：针对流数据大量、快速、实时到达和一

经处理便不再保存的特点，无法使用全部的数据集去估计参数。本文利用在

线更新的思想估计流数据的参数，即每次更新只使用以往数据的统计量和当

前批数据，并结合差分隐私技术保护用户隐私。本文的主要研究内容和成果

具体如下：

()

首先，比较了分别使用,−差分隐私和高斯差分隐私的高斯机制达到

相同的隐私保护效果所需添加噪声的方差，结果表明，在较大时两种差分隐

私机制添加噪声基本相同，而较小时使用高斯差分隐私的高斯机制添加的噪

声显著更小。其次，提出了差分隐私保护下的流数据参数更新算法，在新的一

批数据到达后，仅使用这批数据对参数做一次梯度下降更新。这里用一个梯

度裁剪参数对较大的样本点的梯度进行裁剪，以便控制敏感度；基于上述比

较选择使用高斯差分隐私的高斯机制在梯度上添加正态分布噪音，使整个更

新步骤满足差分隐私。最后，给出了整个算法的隐私保护效果，本文利用高斯

差分隐私的平行分解定理，整个算法相当于多个作用于不同数据集的隐私机

制的组合，组合之后的隐私预算由隐私效果最差的单个机制决定。比起其他

算法，该算法以较小的隐私预算实现了良好的隐私保护效果。

1

差分隐私保护下的流数据更新估计研究

在模拟数据集和真实数据集上的实验结果表明，通过合理的选择裁剪参

数值，该算法能够获得和不加噪声的情况下几乎相同的准确率，说明本文的

算法兼顾了隐私保护和数据可用性。

关键词：隐私保护，差分隐私，流数据，梯度下降

2

Abstract

Abstract

Machinelearningtechnologyplayanimportantroleintheageofbigdata,with

remarkablesuccessinareassuchasimagerecognition,recommendationsystems

andnaturallanguageprocessing,thanksinparttothedatasetsusedfortraining

model.However,thesedatasetsarelikelytocontainsensitivepersonalinformation,

andthereisariskofprivacydisclosureiftheyaredirectlypublishingorusedfor

training.Therefore,howtomineandutilizedatamoreeffectivelyunderthepremise

ofprotectingusersprivacyisanurgentproblemtobesolved.Differentialprivacy

isaneffectivetechnologytosolvetheprivacyleakageprobl