大型数据库中关联规则挖掘.pptVIP

第四章 关联规则挖掘 关联规则挖掘： 从事务数据库，关系数据库和其他信息存储中的大量数据的项集之间发现有趣的、频繁出现的模式、关联和相关性。 应用： 购物篮分析、分类设计、捆绑销售等 “尿布与啤酒”——典型关联分析案例 采用关联模型比较典型的案例是“尿布与啤酒”的故事。在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，超市也因此发现了一个规律，在购买婴儿尿布的年轻父亲们中，有30%～40%的人同时要买一些啤酒。超市随后调整了货架的摆放，把尿布和啤酒放在一起，明显增加了销售额。同样的，我们还可以根据关联规则在商品销售方面做各种促销活动。 一、基本概念 给定： 项的集合：I={i1,i2,...,in} T={t1,t2…tn}是数据库中事务的集合，每个事务ti则是项的集合，使得 则 为T中的关联规则。 其中 并且 规则度量：支持度和置信度 对所有满足最小支持度和置信度的关联规则 支持度s是指事务集T中包含 的百分比 置信度c是指T中包含A同时也包含B的事务占包含A的事务的百分比 最小支持度 min_sup 最小置信度 min_conf 强关联规则：如果事务集合T中的关联规则A ?B同时满足support(A?B)min_sup, confidence(A?B)min_conf, 则A?B称为T中的强关联规则。 关联规则挖掘就是在事务集合中挖掘强关联规则。 k－项集：包含k个项的集合 {牛奶，面包，黄油}是个3－项集 如果K—项集的频率(即支持计数)大于最小支持计数（最小支持度×T中的事务总数n），则称该项集为频繁K—项集 二、关联规则挖掘步骤 大型数据库中的关联规则挖掘包含两个过程： 找出所有频繁项集 大部分的计算都集中在这一步 由频繁项集产生强关联规则 即满足最小支持度和最小置信度的规则 Apriori算法 定理一 如果某k-项集不是频繁k-项集，则包含IK的(k+1)--项集也不是频繁(k+1)--项集。该性质称为Apriori性质。 由事务数据库挖掘单维布尔关联规则 最简单的关联规则挖掘，即单维、单层、布尔关联规则的挖掘。 Apriori算法思想 一.扫描一次事务集合，找出频繁1项集集合L1； 二.基于L1，产生候选2项集集合C2，再扫描一次事务集合，比较候选支持计数与最小支持计数，找出频繁2项集L2； 三.基于L2，找出C3，作剪枝运算，得到剪枝后的C3，再扫描一次事务集合，确定L3； 四.以此类推，直至找出频繁项集为止。最后在所有频繁项集中产生强关联规则。 Apriori算法——示例 使用Apiori性质由L2产生C3 1 ．连接： C3=L2 L2= {{A,C},{B,C},{B,E}{C,E}} {{A,C},{B,C},{B,E}{C,E}} = {{A,B,C},{A,C,E},{B,C,E}} 2．使用Apriori性质剪枝：频繁项集的所有子集必须是频繁的，对候选项C3，我们可以删除其子集为非频繁的选项： {A,B,C}的2项子集是{A,B},{A,C},{B,C}，其中{A,B}不是L2的元素，所以删除这个选项； {A,C,E}的2项子集是{A,C},{A,E},{C,E}，其中{A,E} 不是L2的元素，所以删除这个选项； {B,C,E}的2项子集是{B,C},{B,E},{C,E}，它的所有2－项子集都是L2的元素，因此保留这个选项。 3．这样，剪枝后得到C3={{B,C,E}} 多层关联规则 (1) 在适当的等级挖掘出来的数据项间的关联规则可能是非常有用的 通常，事务数据库中的数据也是根据维和概念分层来进行储存的 这为从事务数据库中挖掘不同层次的关联规则提供了可能。 在多个抽象层挖掘关联规则，并在不同的抽象层进行转化，是数据挖掘系统应该提供的能力 挖掘多层关联规则的方法 通常，多层关联规则的挖掘还是使用置信度－支持度框架，可以采用自顶向下策略 请注意：概念分层中，一个节点的支持度肯定不小于该节点的任何子节点的支持度 由概念层1开始向下，到较低的更特定的概念层，对每个概念层的频繁项计算累加计数 每一层的关联规则挖掘可以使用Apriori等多种方法 例如： 先找高层的关联规则：computer - printer [20%, 60%] 再找较低层的关联规则：laptop - color printer [10%, 50%] 多层关联——一致支持度 一致支持度：对所有层都使用一致的最小支持度 优点：搜索时容易采用优化策略，即一个项如果不满足最小支持度，它的所有子项都可以不用搜索 缺点：最小支持度值设置困难 太高：将丢掉出现在较低抽象