第6章数据挖掘_课件.ppt

Part II - Association Rules ? Prentice Hall Chapter 6 关联规则 Association Rule 目标: 提供关联规则问题的概述并介绍几种基本的关联规则挖掘算法 关联规则问题概述 大项目集 关联规则算法 Apriori算法 抽样算法 划分算法 并行算法 啤酒和尿布的故事 沃尔玛公司在美国的一位店面经理曾发现，每周，啤酒和尿布的销量都会有一次同比攀升，一时却搞不清是什么原因。后来，沃尔玛运用数据挖掘技术发现，购买这两种产品的顾客几乎都是25岁到35岁、家中有婴儿的男性，每次购买的时间均在周末。沃尔玛在对相关数据分析后得知，这些人习惯晚上边看球赛、边喝啤酒，边照顾孩子，为了图省事而使用一次性的尿布。得到这个结果后，沃尔玛决定把这两种商品摆放在一起，结果，这两种商品的销量都有了显著增加。 这个故事说明了什么？ 在海量的数据中，总是隐藏着各种各样的信息。而随着时间的推移以及信息爆炸，我们已经很难不借助其他的外力去从海量的数据中发觉信息，即使能发觉，根据现在信息的发布速度，这样也是毫无实际意义的。如何从庞大的数据海洋中发掘有效信息，已经成为信息时代所急待解决的问题。于是数据仓库，数据挖掘、在线分析等等概念开始出现在我们视野里。这个时代是一个炒做概念的时代，新名词、新概念层出不穷；惹的我们纷纷双眼昏花起来。这个故事告诉大家，数据里蕴藏着许多肉眼所看不见的东西。根据现在的零售业发展规模来看，再想创造沃尔玛的神奇故事已经不可能了，谁都没有神的眼睛，没有经过梳理的数据对我们来说比垃圾还垃圾。因此，如何发掘垃圾里的有价值信息，就成了一个市场的卖点。因此，请关注数据挖掘。 例子: 购物篮数据 购买一种商品时也同时购买另一种商品的情形就构成了一条关联规则: 花生酱 ?面包 应用领域: 场地布局 广告 市场营销 库存控制 目的: 增加销售量并减少成本 关联规则相关概念 一组项目: I={I1,I2,…,Im} 事务数据库: D={t1,t2, …, tn}, tj? I 项目集: {Ii1,Ii2, …, Iik} ? I 项目集的支持度:包含该项目集的事务占库中所有事务的百分比。 大 (频繁)项目集 : 是出现次数大于阈值s的项目集. 关联规则示例 关联规则定义 给定一组项目I={I1,I2,…,Im}和一个事务数据库 D={t1,t2, …, tn} ，其中 ti={Ii1,Ii2, …, Iik} 并且Iij ? I, 关联规则 (AR): 形如X ? Y的蕴含式，其中X,Y ? I是两个项目集，并且 X ? Y =?; 关联规则X ? Y 的支持度s: 数据库中包含X ?Y 的事务占库中所有事务的百分比。 关联规则X ? Y 的置信度a : 包含X ? Y 的事务数与包含X 的事务数的比值。 示例 关联规则问题 给定一组项目I={I1,I2,…,Im}和一个事务数据库 D={t1,t2, …, tn} ，其中 ti={Ii1,Ii2, …, Iik} 并且Iij ? I,关联规则问题就是识别出所有大于最小支持度和置信度的关联规则 X ? Y. 注意: X ? Y的支持度和 X ? Y的支持度相等. 关联规则技术 发现大项目集. 从大项目集合产生关联规则. 产生关联规则的算法 ARs s=30%, a=50%利用该支持度，从表6.2得到大项目集的集合L={{啤酒}，{面包}，{牛奶}，{花生酱}，{面包,花生酱}}要想产生关联规则，需要有非空子集。只有最后一个大项目集可以产生关联规则。该大项目集产生的可能关联规则如下：（1） 面包? 花生酱 ，其置信度为0.75，满足条件，是一条有效的关联规则。（2）花生酱?面包，其置信度为1，满足条件，是一条有效的个关联规则。 Apriori算法 大项目集性质: 大项目集的任一子集也一定是大的。 因此大项目集只能从所有大的子集的组合（连接运算）产生 对照: 如果一个项目集不是大的，那么它的超集也不是大的。 Apriori 算法示例 (cont’d) Apriori 算法 C1 = Itemsets of size one in I; Determine all large itemsets of size 1, L1; i = 1; Repeat i = i + 1; Ci = Apriori-Gen(Li-1); Count Ci to determine Li; until no more large itemsets found; Apriori-Gen 从大小为i 的大项目集产生大小为i+1 的侯选项目集。 具体用法：将每一个项目集合与另外一个具有共同成员的项目集进行连接