CHAPTER6-挖掘关联规则资料.pptVIP

极大模式 频繁模式 {a1, …, a100} 包含 (1001) + (1002) + … + (110000) = 2100-1 = 1.27*1030 频繁子模式! 最大模式: 频繁模式, 其真超模式都不是频繁的 BCDE, ACD 是最大模式 BCD 不是最大模式 Tid Items 10 A,B,C,D,E 20 B,C,D,E, 30 A,C,D,F min_sup=2 挖掘极大模式 扫描1: 找出频繁项 A, B, C, D, E 扫描2: 找出以下项集的支持度 AB, AC, AD, AE, ABCDE BC, BD, BE, BCDE CD, CE, DE, CDE 由于 BCDE 是最大模式, 不必在此后的扫描时检查 BCD, BDE, CDE R. Bayato. Efficiently mining long patterns from databases. In SIGMOD’98 Tid Items 10 A,B,C,D,E 20 B,C,D,E, 30 A,C,D,F 潜在的最大模式 关联规则的可视化 * 关联规则的可视化 * 频繁项集挖掘方法 Apriori算法: 通过限制候选产生发现频繁项集 提高Apriori算法的效率 挖掘频繁项集的模式增长方法 是用垂直数据格式挖掘频繁项集 挖掘闭模式和极大模式 模式评估的方法 兴趣度度量 游戏?视频 [40%, 66.7%] （结论具有误导性） 事实上，视频光盘的购买会降低购买游戏光盘的可能性 买视频所占百分比为75%, 比 66.7%还高 游戏 非游戏 Sum(row) 视频 2000 1750 3750 非视频 1000 250 1250 Sum(col) 3000 2000 5000 寻找支持度——信任度框架的替代，评价关联规则 提升度 提升度（定义）: 游戏 非游戏 Sum(row) 视频 2000 1750 3750 非视频 1000 250 1250 Sum(col) 3000 2000 5000 A与B之间的相关性：大于1正相关，小于1负相关 模式评估比较（几种度量） 全置信度： 最大置信度： Kulczynski（Kulc）度量： 余弦度量： * 零不变度量 零事物：不包含任何考察项的事物 零不变度量：不受零事物影响的度量 Milk No Milk Sum (row) Coffee m, c ~m, c c No Coffee m, ~c ~m, ~c ~c Sum(col.) m ~m ? 各种度量的比较 D1，D2中m，c正相关；D3中负相关；D4中性 D5，D6中牛奶与咖啡的关系 IR（Imbalance Ratio，不平衡比）: 评估规则蕴含式中两个项集A 和 B 的不平衡程度 Kulc与IR一起可以清晰的对D4~D6进行描述 D4 is balanced neutral D5 is imbalanced neutral D6 is very imbalanced neutral 各种度量的比较 * 本章总结 Basic concepts: association rules, support-confident framework, closed and max-patterns Scalable frequent pattern mining methods Apriori (Candidate generation test) Projection-based (FPgrowth, CLOSET+, ...) Vertical format approach (ECLAT, CHARM, ...) Which patterns are interesting? Pattern evaluation methods * 作业 课后习题：6.6、6.8、6.14 * * * * * * * * * * * * * * * * * * * * 频繁模式挖掘的挑战 挑战 事务数据库的多遍扫描 数量巨大的候选 候选支持度计数繁重的工作量 改进 Apriori: 基本思想 减少事务数据库的扫描遍数 压缩候选数量 便于候选计数 * 频繁项集挖掘方法 Apriori算法: 通过限制候选产生发现频繁项集 提高Apriori算法的效率 挖掘频繁项集的模式增长方法 是用垂直数据格式挖掘频繁项集 挖掘闭模式和极大模式 * 提高Apriori算法的方法 Hash-based itemset counting（散列项集计数） Transaction reduction（事务压缩） Partitioning（划分） Sampling（采样） 思路：降低扫描次数、提高每次扫描的效率 * 划分: 只扫描数据库两次 项集在