第12章数据挖掘应用12ApplicationsofDataMining.ppt

随机的数据转换(random data perturbation) A B C D 1 1 1 0 1 0 1 1 0 0 0 1 1 1 1 0 1 0 1 1 Sample Database A B C D 1 1 1 0 1 0 0 1 0 0 0 1 1 1 1 0 1 0 0 1 Distorted Database Distortion Algorithm 随机的数据转换 目标 统计属性可以较精确得到 个体数据不能得到 离散型变量转换 布尔型变量 分类型 (Category) 变量 连续型变量转换 布尔型变量 转换 分类型变量 转换 连续型变量 转换 布尔型变量转换 购物篮问题 数据位以概率p 被翻转 对经过变化的数据进行挖掘 分类型变量转换 Select-a-size Randomization Cut and Paste Randomization Select-a-size Randomization 给定大小为t的事务, 构造t’: 选择j 属于0 到m P[j被选择的概率]= pm[j] 把事务加入t的 j个项加入事务·t’; 其它不在事务t的属性以概率pm 加入事务 t’ 参数pm[j]和pm的选择基于需要的隐私度 Cut and Paste Randomization 给定大小为t的事务, 构造t’: 在0到Km间选择 j 把事务t 的j个项加入t’; 事务t的其它项以概率pm加入 t’ 参数Km和pm的选择基于所需要的隐私度 连续型变量隐私保护挖掘方法 Agrawal and Srikant, SIGMOD’00 Bayes’ rule 改进by Agrawal and Aggarwal, SIGMOD’01 Expectation Maximization (EM) Bayes’ rule Agrawal and Srikant (2000) Decision Trees Perturb Data with Value Distortion 用户提供 xi+r 代替 xi r 是一个随机变量，服从分布 平均分布 [-a, a] 高斯分布 (u, σ) Bayes’ rule x1,x2,…,xn 是n个独立同分布的随机变量 y1,y2,…,yn 是n个独立同分布的随机变量 W=X+Y 给定FY和W，估计FX 安全多方计算 Motivation: 分布式隐私保护数据挖掘 目标： 结果公布 每个用户只知道自己的数据 比较 数据隐藏 安全多方计算 复杂性 一般 高 计算、通信 安全性 较高 高 主要问题 安全性和准确性的折衷 效率 适用领域 较广 Web, Corporate 小规模分布式 Corporate 分布式隐私保护数据挖掘的目标 安全性分析 知道自己的数据和最终的结果 不清楚其它用户的数据 避免相互勾结 通信分析 分布式隐私保护数据挖掘方法 Semi-Honest Model Malicious 分类 水平分布型数据(Horizontal Partitioning) 垂直分布型数据(Vertical Partitioning) 水平型分布数据 垂直分布型数据 Thank you !!! * * * * * * * 流数据频繁模式挖掘要求 只能对数据流进行一次扫描； 处理的数据项是无穷的； 实时响应数据处理要求。 数据流管理系统的抽象体系结构 流数据频繁模式挖掘算法 确定区间（deterministic bounds）近似算法：计算一个近似结果，但这个近似结果能够落入由真实结果构成的??区间； 概率区间（probabilistic bounds）近似算法：计算一个近似结果，但这个近似结果能够以较高的概率落入由真实结果构成的??区间。 算法比较 滑动窗口技术 自然滑动窗口 31 days 24 hours 4 qtrs 12 months Time Now 24hrs 4qtrs 15minutes 7 days Time Now 25sec. 对数滑动窗口 隐私保护数据挖掘 隐私保护数据挖掘简介 隐私保护数据挖掘 面向企业信用评估的分布式隐私保护数据挖掘研究 一、隐私保护数据挖掘简介 What Why Who Goal How An Example 什么是数据挖掘 数据挖掘是从大量数据中提取或“挖掘”知识的过程。 数据挖掘以客观、有效的数据源为物质基础。 数据挖掘得到的知识是一种数据归纳的结果，是一种统计的知识。 什么是隐私 针对不同的应用环境，隐私定义不同。 在信息时代，隐私指用户隐藏个人信息的权利和控制自己的信息给其他人的能力。 什么是隐私保护数据挖掘 “getting valid data mining results without learning the und