数据挖掘之关联分析.ppt

概念 数据挖掘(Data Mining) 是通过分析每个数据，从大量数据中寻找其规律的技术，主要有数据准备、规律寻找和规律表示3个步骤。 数据挖掘的任务有关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析等。 关联分析是指如果两个或多个事物之间存在一定的关联,那么其中一个事物就能通过其他事物进行预测.它的目的是为了挖掘隐藏在数据间的相互关系 。 数据挖掘能做什么 分类 （Classification） 首先从数据中选出已经分好类的训练集，在该训练集上运用数据挖掘分类的技术，建立分类模型，对于没有分类的数据进行分类。 例子： 　　a. 信用卡申请者，分类为低、中、高风险 　　b. 故障诊断：中国宝钢集团与上海天律信息技术有限公司合作，采用数据挖掘技术对钢材生产的全流程进行质量监控和分析，构建故障地图，实时分析产品出现瑕疵的原因，有效提高了产品的优良率。 数据挖掘能做什么 估计（Estimation） 估计与分类类似，不同之处在于，分类描述的是离散型变量的输出，而估值处理连续值的输出；分类 ?? 数据挖掘 的类别是确定数目的，估值的量是不确定的。 例子： 　　a. 根据购买模式，估计一个家庭的孩子个数 　　b. 根据购买模式，估计一个家庭的收入 　　c. 估计real estate的价值 一般来说，估值可以作为分类的前一步工作。例如：银行对家庭贷款业务，运用估值，给各个客户记分（Score 0~1）。然后，根据阈值，将贷款级别分类。 数据挖掘能做什么 预测（Prediction） 通常，预测是通过分类或估值起作用的，也就是说，通过分类或估值得出模型，该模型用于对未知变量的预言。从这种意义上说，预言其实没有必要分为一个单独的类。预言其目的是对未来未知变量的预测，这种预测是需要时间来验证的，即必须经过一定时间后，才知道预言准确性是多少。 数据挖掘能做什么 相关性分组或关联规则 （Affinity grouping or association rules） 决定哪些事情将一起发生。 例子： 　　a. 超市中客户在购买A的同时，经常会购买B，即A = B(关联规则) 　　b. 客户在购买A后，隔一段时间，会购买B （序列分析） 数据挖掘能做什么 聚类（Clustering） 聚类是对记录分组，把相似的记录在一个聚集里。聚类和分类的区别是聚集不依赖于预先定义好的类，不需要训练集。 　　 例子： 　　a. 一些特定症状的聚集可能预示了一个特定的疾病 　　b. 租VCD类型不相似的客户聚集，可能暗示成员属于不同的亚文化群 数据关联 我们会发现很多网站都具备了内容推荐的功能，这类功能无疑在帮助用户发现需求，促进商品购买和服务应用方面起到了显著性的效果。 数据关联 关联推荐在营销上被分为两类： 向上营销(Up Marketing)：根据既有客户过去的消费喜好，提供更高价值或者其他用以加强其原有功能或者用途的产品或服务。 交叉营销(Cross Marketing)：从客户的购买行为中发现客户的多种需求，向其推销相关的产品或服务。 数据关联 向上营销是基于同类产品线的升级或优化产品的推荐，而交叉营销是基于相似但不同类的产品的推荐。 数据关联 关联推荐在实现方式上也可以分为两种： 以产品分析为基础的关联推荐 以用户分析为基础的关联推荐 比如《Web Analytics》和《Web Analytics 2.0》的作者都是Avinash Kaushik，而且书名都包含Web Analytics，都是网站分析类的书籍，同时也可能是同一个出版社……那么基于产品的关联就可以向购买了《Web Analytics》的用户推荐《Web Analytics 2.0》。 数据关联 关联推荐在实现方式上也可以分为两种： 以产品分析为基础的关联推荐 以用户分析为基础的关联推荐 基于用户分析的推荐是通过分析用户的历史行为数据，可能会发现购买了《Web Analytics》的很多用户也买了《The Elements of User Experience》这本书，那么就可以基于这个发现进行推荐。 关联规则 数据关联 经典案例：沃尔玛的啤酒和尿布的故事 关联规则 基于用户行为分析的关联推荐 更有利于发现用户的潜在需求，帮助用户更好的选择它们需要的产品，并由用户决定是否购买，也就是所谓的“拉式”