ch5 挖掘频繁模式、关联和相关.pptVIP

数据挖掘：概念与技术 Data Mining: Concepts and Techniques — Slides for Textbook — — Chapter 5 — 第5章: 挖掘频繁模式、关联和相关 基本概念和路线图 有效的和可伸缩的频繁项集挖掘方法 由事务数据库挖掘多层关联规则 由关系数据库和数据仓库挖掘多维关联规则 由关联挖掘到相关分析 基于约束的关联挖掘 小结 频繁模式分析 频繁模式: 频繁出现在数据集中的模式（如项集、子序列、子结构） 最早由 Agrawal, Imielinski, and Swami [AIS93]提出，研究频繁项集和关联规则挖掘 关联规则挖掘 : 寻找给定数据集中项之间的有趣的联系、关联、模式. 频繁项集挖掘：发现大型事务或关系数据集中项之间有趣的关联或相关 应用 购物篮分析(例5-1)、交叉购物、分类设计、贱卖分析、Web日志分析、DNA序列分析等 实例： Rule form: “Body ? Head [support, confidence]”. buys(x, “diapers”) ? buys(x, “beers”) [0.5%, 60%] major(x, “CS”) ^ takes(x, “DM”) ? grade(x, “A”) [10%, 75%] 关联规则 :基本概念（1） 给定: (1) 数据库事务的集合, (2) 每个事务T是项的集合，每个事务有个标识符TID 关联规则挖掘给定数据中项集之间所有有趣的关联或相关联系 E.g., 购买计算机也趋向于同时购买杀毒软件 规则度量：支持度和置信度 找出满足最小支持度和置信度的所有规则：A ? B Support(A ? B)= support({A ?B}) ：全部事务中同时包含 {A ? B}的概率P(AUB) confidence (A ? B)=support({A?B}) / support({A})：包含事务A同时也包含B的条件概率P(B|A) 关联规则 :基本概念（2） 强规则：同时满足最小支持度阈值和最小置信度阈值的规则 项集：项的集合 k-项集：包含k个项的项集 项集的出现频率：项集的频率、支持计数、计数 频繁项集 关联规则挖掘的两个过程： 找出所有频繁项集 由频繁项集产生强关联规则 闭频繁项集和极大频繁项集 一个长度为100的频繁项集 {a1, …, a100} 包含 C1001 + C1002 + … + C110000 = 2100 – 1 = 1.27*1030 个频繁项集 项集X在数据集S中是闭的：如果不存在真超项集Y使得Y与X在S中有相同的支持度计数 项集X是S中的极大频繁项集：如果X是频繁的，并且不存在超项集Y使得X?Y并且Y在S中是频繁的 例5-2 闭的和极大的频繁项集 频繁模式挖掘:一个路线图 完全 vs. 闭 vs. 极大 vs.被约束 vs.近似 vs.接近匹配vs.最频繁的k个项集(根据挖掘的模式的完全性) 最大频繁模式：频繁模式P，使得P的任何超模式都不是频繁的 频繁闭项集：项集C是闭的，若不存在C的真超集C’，使得每个包含C的事务也包含C’ 增强约束 E.g., small sales (sum 100) trigger big buys (sum 1,000)? 单层 vs.多层关联规则(根据规则所涉及的抽象层) 单维 vs.多维关联规则(根据规则中涉及的数据维数) 布尔 vs. 量化关联规则 (根据规则中所处理的值类型) buys(x, “SQLServer”) ^ buys(x, “DMBook”) ? buys(x, “DBMiner”) [0.2%, 60%] age(x, “30..39”) ^ income(x, “42..48K”) ? buys(x, “PC”) [1%, 75%] 关联 vs. 相关规则(根据所挖掘的规则类型) 频繁项集 vs.序列模式 vs.结构模式挖掘(根据所挖掘的模式类型) 第5章: 挖掘频繁模式、关联和相关 基本概念和路线图 有效的和可伸缩的频繁项集挖掘方法 由事务数据库挖掘多层关联规则 由关系数据库和数据仓库挖掘多维关联规则 由关联挖掘到相关分析 基于约束的关联挖掘 小结 可伸缩的频繁项集挖掘方法 简单形式的频繁模式：单维、单层、布尔 可伸缩的频繁项集挖掘方法 Apriori算法 (Agrawal Srikant@VLDB’94) 频繁模式增长(FP增长—Han, Pei Yin @SIGMOD’00) 垂直数据格式(Charm—Zaki Hsiao @SDM’02) 挖掘频繁项集: 关键步骤 找频繁项集: 具有最小支持度的项集 频繁项集的所有非空子集也必须是频繁项集 i.e., 如果{AB}是