数据挖掘的高级主题讲义.ppt

隐私保护数据挖掘架构 B2B的架构中，具体的事务分布在几个不同的站点。每个站点拥有一个包含大量事务的私有数据库。这里用到的主要计算技术是安全多方计算（Secured multiparty computation）及其变种。 B2C的架构中，一个系统包含一个数据挖掘站点和众多的数据提供者。在线调查表是这种B2C架构的一个典型的例子。其中包含一个调查表收集器和分析器以及众多的数据提供者。 解决方法分类 数据隐藏 (Data Obfuscation) 对数据进行挖掘时，不能看到真实的数据 安全多方计算 仅仅可信的结点可以看到数据 数据隐藏 目标: 隐藏被保护信息 私有数据可用 噪声较大 真实值不能确定得到 主要技术 匿名技术 随机的数据转换(random data perturbation) 阻塞技术(blocking) 聚集或融合技术(aggregation or merging) 交换技术 (swapping) 采样技术 (sampling) 基于阻塞的技术(blocking) A B C D 1 1 1 0 1 0 1 1 0 0 0 1 1 1 1 0 1 0 1 1 A B C D 1 1 1 0 1 0 ? 1 ? 0 0 1 1 1 1 0 1 0 1 1 Blocking Algorithm Initial Database New Database 主要用于组织隐私的保护 随机的数据转换(random data perturbation) A B C D 1 1 1 0 1 0 1 1 0 0 0 1 1 1 1 0 1 0 1 1 Sample Database A B C D 1 1 1 0 1 0 0 1 0 0 0 1 1 1 1 0 1 0 0 1 Distorted Database Distortion Algorithm 随机的数据转换 目标 统计属性可以较精确得到 个体数据不能得到 离散型变量转换 布尔型变量 分类型 (Category) 变量 连续型变量转换 布尔型变量 转换 分类型变量 转换 连续型变量 转换 布尔型变量转换 购物篮问题 数据位以概率p 被翻转 对经过变化的数据进行挖掘 分类型变量转换 Select-a-size Randomization Cut and Paste Randomization Select-a-size Randomization 给定大小为t的事务, 构造t’: 选择j 属于0 到m P[j被选择的概率]= pm[j] 把事务加入t的 j个项加入事务·t’; 其它不在事务t的属性以概率pm 加入事务 t’ 参数pm[j]和pm的选择基于需要的隐私度 Cut and Paste Randomization 给定大小为t的事务, 构造t’: 在0到Km间选择 j 把事务t 的j个项加入t’; 事务t的其它项以概率pm加入 t’ 参数Km和pm的选择基于所需要的隐私度 连续型变量隐私保护挖掘方法 Agrawal and Srikant, SIGMOD’00 Bayes’ rule 改进by Agrawal and Aggarwal, SIGMOD’01 Expectation Maximization (EM) Bayes’ rule Agrawal and Srikant (2000) Decision Trees Perturb Data with Value Distortion 用户提供 xi+r 代替 xi r 是一个随机变量，服从分布 平均分布 [-a, a] 高斯分布 (u, σ) Bayes’ rule x1,x2,…,xn 是n个独立同分布的随机变量 y1,y2,…,yn 是n个独立同分布的随机变量 W=X+Y 给定FY和W，估计FX 安全多方计算 Motivation: 分布式隐私保护数据挖掘 目标： 结果公布 每个用户只知道自己的数据 比较 数据隐藏 安全多方计算 复杂性 一般 高 计算、通信 安全性 较高 高 主要问题 安全性和准确性的折衷 效率 适用领域 较广 Web, Corporate 小规模分布式 Corporate 分布式隐私保护数据挖掘的目标 安全性分析 知道自己的数据和最终的结果 不清楚其它用户的数据 避免相互勾结 通信分析 分布式隐私保护数据挖掘方法 Semi-Honest Model Malicious 分类 水平分布型数据(Horizontal Partitioning) 垂直分布型数据(Vertical Partitioning) 水平型分布数据 垂直分布型数据 * * Na parousiasoume ti kanei kai meta ta differences 清理后的Sample Lo