挖掘大型数据库中的关联规则(武汉大学-李春葆).pptVIP

Data Mining: Concepts and Techniques 第6章：挖掘大型数据库中的关联规则 6.1.1 什么是关联规则挖掘? 关联规则挖掘 : 发现事务数据库, 关系数据, 或其它信息库中项或数据对象集合间的频繁模式, 关联, 相关, 或因果关系结构。 频繁模式: 在数据库中频繁出现的模式（项集、 序列 等） 动机: 发现数据中的规律性 哪些产品更经常一起购买? 购买了PC后, 哪些将相继购买? 什么类型的 DNA 对新药敏感? 我们能自动地对Web稳当分类吗? 许多基本的数据挖掘任务的基础 关联、 相关、 因果关系。 序列模式、 时间或周期关联、局部周期性、 空间和多媒体关联。 关联分类、 聚类分析等。 广泛的应用 购物篮数据分析、 交叉销售、 分类设计、 销售活动分析。 Web 日志 （点击流） 分析、 DNA 序列分析等。 6.1.2 基本概念: 频繁模式和关联规则 Itemset（项集） X={x1, …, xk} 找出满足最小支持度和置信度的所规则 X?Y ： 支持度 s, 事务包含 X?Y 的概率 置信度 c, 事务含 X 也包含 Y 的条件概率. 挖掘关联规则—一个例子 规则 A ? C: 支持度 = support({A}?{C}) = 50% 置信度 = support({A}?{C})/support({A}) = 66.6% 6.2 单维关联规则挖掘算法 6.2.1 Apriori: 一种候选产生-测试方法 Apriori性质：频繁项集的任何子集必须是频繁的。 如果 {beer, diaper, nuts} 是频繁的, {beer, diaper}也是。 每个包含 {beer, diaper, nuts}的事务 也包含 {beer, diaper} 。 Apriori 剪枝原则: 如果一个项集不是频繁的, 将不产生/测试它的超集，称为反单调性。 如{ac}不是频繁的，则{abc}、{acd}不是频繁的。 方法: 由长度为k的频繁项集产生长度为 (k+1) 的候选项集, 并且根据 DB测试这些候选。 1. Apriori 算法 — 两个例子 2. Apriori 算法 算法伪代码: Ck: 长度为 k的候选项集 Lk : 长度为k的频繁项集 L1 = {频繁项}; for (k = 1; Lk !=?; k++) do begin Ck+1 = 由 Lk产生的候选; for each 数据库中的事务 t do 增加包含在t 中的所有候选Ck+1的计数 Lk+1 = Ck+1 中满足 min_support的候选 end return ?k Lk; 3. Apriori的重要细节 如何产生候选? 步骤 1: Lk的自连接 步骤 2: 剪枝 如何对候选的支持度计数? 候选产生的例子 L3={abc, abd, acd, ace, bcd} 自连接: L3　　L3 abcd：由 abc 和 abd acde：由 acd 和 ace 剪枝: acde 被删除, 因为 ade 不在 L3 C4={abcd} 4. 如何产生候选? 假定 Lk-1 中的项集已排序 步骤 1: Lk-1自连接 Ck= Lk-1 Lk-1 insert into Ck select p.item1, p.item2, …, p.itemk-1, q.itemk-1 from Lk-1 p, Lk-1 q where p.item1=q.item1, …, p.itemk-2=q.itemk-2, p.itemk-1 q.itemk-1 Apriori 算法中的连接运算 步骤2: 剪枝 forall itemsets c in Ck do forall (k-1)-subsets s of c do if (s is not in Lk-1) then delete c from Ck 5. 完整的Apriori算法 (1) L1={频繁1项集}; (2) for(k=2;Lk-1??;k++) do begin (3) Ck=apriori_gen(Lk-1); //新的潜在频繁项集 (4) for all transactions t?D do begin (5) Ct=subset(Ck,t); 　//t中包含的潜在频繁项集 (6) for all candidates c?Ct do (7) c.count++; (8) end; (9) Lk={c?Ck|c.count?minsup} (10) en