大数据挖掘和隐私.pdf

大数据挖掘和隐私 陈志渊 目标 • 简单介绍大数据挖掘 – 介绍一些大数据挖掘的例子 – 介绍一些大数据挖掘的常用方法和工具 – 介绍大数据挖掘的一些研究方向 • 大数据挖掘安全和隐私 – 常见的大数据挖掘的安全和隐私问题 – 一些解决方法 – 一些研究方向 什么是数据挖掘 • 从数据中找出有用的信息，规律。 • 有用是指可以产生价值 – 帮助发现问题: 网络入侵检测, 信用卡和医疗诈 骗检测 – 帮助预测: 市场分析 – 帮助分类：用户分类 – 帮助优化：产品的绑定和摆放 • 数据是基础: 越多高质量数据越好 • 基本假设：过去(现有数据)能解释将来 数据挖掘的好处和局限性 • 好处： – 客观: 从数据中来 – 可以发现人工很难发现的信息 – 很多数据挖掘方法有一定的理论基础 • 局限性： – 结果取决于数据的质量 – 时效性：可以用基金或股票过去的表现预测未来的 表现吗？ – 某些数据挖掘的结果或模型难以解释：神经网路 数据挖掘的常用方法 • 有监督(supervised): 有标好答案的例子 – 回归(regression): 线性模型 – 分类(classification): 有许多方法，决策树， Bayesian, SVM(支持向量机), KNN(最近邻居) – 神经网络(neural network)：非线性模型 • 无监督(unsupervised): – 聚类(clustering): 把类似的归为一类 – 异常发现(anomaly detection) – 关联(association) 消费 回归 收入 • 线性回归 • Logistic regression (逻辑回归)：结果是或否 • Proportional Hazard Model (比例风险模型): 医疗中常用，比如吸烟会导致的肺 癌的危险增长3倍 • 好处：简单，容易解释；是在各行业用得最广的方法 • 局限：线性，不适用所有情况 决策树 年龄？ 25 收入？ … 批准 • 好处：简单易懂 • 局限：容易overfit (过拟合)，树结构不唯一 (许多树效果差不多) 支持向量机(SVM) • 用于分类，找到能区分两类的平面 • 好处：可线性和非线性，不容易overfit • 局限：比较慢 KNN • 用于分类，找到最近的K个邻居，根据他们最 经常的类 • 好处：无需建模 • 局限：需要好的距离定义 聚类(Clustering) • 相似的点归于同类 • 不需要有标记 • 局限：受干扰(noise)影响，需要好的距离定 义 异常发现(Anomaly Detection) • 和其他数据点都很远 • 不需要有标记 • 局限：需要好的距离定义 数据挖掘的常用工具 • WEKA: JAVA ，开源，支持几乎所有常用的数 据挖掘方法 • R：开源，统计分析+数据挖掘 • Matlab: 矩阵运算，有许多数据挖掘包 • SAS ：统计软件，较少数据挖掘方法 • Excel: 简单的统计，易用 • 数据库软件：Oracle, IBM, Microsoft 都在