数据挖掘与知识获取课件5、挖掘频繁模式、关联和相关.pptVIP

第五章挖掘频繁模式、关联和相关 什么是关联规则挖掘？ 关联规则挖掘： 从事务数据库、关系数据库和其他信息存储中的大量数据的项集之间发现有趣的、频繁出现的模式、关联和相关性。 应用： 购物篮分析、分类设计、捆绑销售等 “尿布与啤酒”——典型关联分析案例 采用关联模型比较典型的案例是“尿布与啤酒”的故事。在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，超市也因此发现了一个规律，在购买婴儿尿布的年轻父亲们中，有30%～40%的人同时要买一些啤酒。超市随后调整了货架的摆放，把尿布和啤酒放在一起，明显增加了销售额。同样地，我们还可以根据关联规则在商品销售方面做各种促销活动。 购物篮分析 如果问题的全域是商店中所有商品的集合，则对每种商品都可以用一个布尔量来表示该商品是否被顾客购买，则每个购物篮都可以用一个布尔向量表示；而通过分析布尔向量则可以得到商品被频繁关联或被同时购买的模式，这些模式就可以用关联规则表示（0001001100，这种方法丢失了什么信息？） 关联规则的两个兴趣度度量 支持度 置信度 强关联规则是有趣的 最小支持度阈值 最小置信度阈值 关联规则：基本概念 给定： 项的集合称为项集：I={i1,i2,...,in} 任务相关数据D是数据库事务的集合，每个事务T则是项的集合，使得 每个事务由事务标识符TID标识； A,B为两个项集，事务T包含A当且仅当 则关联规则是如下蕴涵式： 其中 并且 ，规则 在事务集D中成立，并且具有支持度s和置信度c 基本概念——示例 项的集合 I={A,B,C,D,E,F} 每个事务T由事务标识符TID标识，它是项的集合 比如：TID(2000)={A,B,C} 任务相关数据D是数据库事务的集合 规则度量：支持度和置信度 对所有满足最小支持度和置信度的关联规则 支持度s是指事务集D中包含 的百分比 置信度c是指D中包含A的事务同时也包含B的百分比 假设最小支持度为50%，最小置信度为50%，则有如下关联规则 A ? C (50%, 66.7%) C ? A (50%, 100%) 关联规则的挖掘 (1) 基本概念 K项集：包含K个项的集合 {牛奶，面包，黄油}是一个3项集 项集的频率是指包含项集的事务数 如果项集的频率大于（最小支持度×D中的事务总数），则称该项集为频繁项集 关联规则的挖掘 (2) 关联规则的挖掘包含两个过程： 找出所有的频繁项集 根据定义，这些项集中的每一项出现的频度不低于预先确定的最小支持度min_sup 由频繁项集产生强关联规则 根据定义，这些规则必须满足最小支持度和最小置信度 第二步的开销远小于第一步，故挖掘关联规则的总体性能由第一步决定 关联规则挖掘分类 (1) 关联规则有多种分类： 根据规则中所处理的值类型 布尔关联规则 量化关联规则（规则描述的是量化的项或属性间的关联性） 根据规则中涉及的数据维 单维关联规则 （仅涉及buys这个维） 多维关联规则 关联规则挖掘分类 (2) 根据规则集所涉及的抽象层 单层关联规则 多层关联规则 （在不同的抽象层发现关联规则） 根据关联挖掘的各种扩充 挖掘极大频繁项集（该项集的任何真超项集都是非频繁的） 挖掘闭频繁项集（一个项集c是闭频繁项集，如果不存在其真超集c’，使得每个包含c的事务也包含c’） （极大频繁项集和闭频繁项集可以用来减少挖掘中产生的频繁项集数目） 由事务数据库挖掘单维布尔关联规则 最简单的关联规则挖掘，即单维、单层、布尔关联规则的挖掘。 Apriori算法 (1) Apriori算法利用频繁项集性质的先验知识（prior knowledge），通过逐层搜索的迭代方法，即将k项集用于探索(k+1)项集，来穷尽数据集中的所有频繁项集。 先找到频繁1项集的集合L1,然后用L1找到频繁2项集的集合L2，接着用L2找L3，如此下去，直到不能再找到频繁k项集。找每个Lk时需要一次数据库全扫描。 Apriori算法 (2) Apriori算法利用的是Apriori性质：频繁项集的所有非空子集也必须是频繁的。 模式不可能比A更频繁地出现 Apriori算法具有反单调性，即一个集合如果不能通过测试，则它的所有超集也不能通过相同的测试。 Apriori性质通过减少搜索空间，来提高频繁项集逐层产生的效率 Apriori算法步骤 Apriori算法由连接步和剪枝步两个步骤组成。 连接：为了找Lk，通过Lk-1与自己连接产生候选k项集的集合，该候选k项集记为Ck。 Lk-1中的两个元素l1和l2可以执行连接操作 的条件是 Ck是Lk的超集，即它