第5章：挖掘关联规则.pptVIP

* 简洁性 Succinct 简洁性: 给定满足约束C 的项的集合 A1,, 则满足C 的任意集合S 都基于 A1 , 即, S 包含一个属于A1 的子集 思想: 不查看事务数据库, 项集S 是否满足约束C可以根据选取的项确定 min(S.Price) ? v 是简洁的 sum(S.Price) ? v 不是简洁的 优化: 如果 C 是简洁的, C 是预计数可推进的(pre-counting pushable) * 约束的性质汇总 约束 反单调 单调 简洁 v ? S no yes yes S ? V no yes yes S ? V yes no yes min(S) ? v no yes yes min(S) ? v yes no yes max(S) ? v yes no yes max(S) ? v no yes yes count(S) ? v yes no weakly count(S) ? v no yes weakly sum(S) ? v ( a ? S, a ? 0 ) yes no no sum(S) ? v ( a ? S, a ? 0 ) no yes no range(S) ? v yes no no range(S) ? v no yes no avg(S) ? v, ? ? { ?, ?, ? } convertible convertible no support(S) ? ? yes no no support(S) ? ? no yes no * Apriori 算法 — 一个例子 Database D Scan D C1 L1 L2 C2 C2 Scan D C3 L3 Scan D * 朴素算法: Apriori + 约束 Database D Scan D C1 L1 L2 C2 C2 Scan D C3 L3 Scan D 约束: Sum{S.price 5} * 受约束的Apriori 算法: 推进反单调约束 Database D Scan D C1 L1 L2 C2 C2 Scan D C3 L3 Scan D 约束: Sum{S.price 5} * * * * * * * * 使用垂直数据格式挖掘频繁项集Vertical Data Format 使用tid-list, 包含item的事务的标识的集合; M. Zaki et al. New algorithms for fast discovery of association rules. In KDD’97 扫描一次数据集将水平格式数据转化为垂直格式 通过频繁k项集的tid-list的交集，计算对应(k+1)项集的tid-list * 频繁模式挖掘的瓶颈 多遍数据库扫描是 昂贵的 挖掘长模式需要很多遍扫描, 并产生大量候选 挖掘频繁模式 i1i2…i100 扫描次数: 100 候选个数: (1001) + (1002) + … + (110000) = 2100-1 = 1.27*1030 ! 瓶颈: 候选产生-测试 能够避免候选产生吗? * 挖掘频繁模式而不产生候选 使用局部频繁的项, 由短模式增长产生长模式 “abc” 是频繁模式 得到包含 “abc”的所有事务: DB|abc “d” 是 DB|abc 中的局部频繁项? abcd 是频繁模式 * 由事务数据库构造FP-树 {} f:4 c:1 b:1 p:1 b:1 c:3 a:3 b:1 m:2 p:2 m:1 Header Table Item frequency head f 4 c 4 a 3 b 3 m 3 p 3 min_support = 3 TID Items bought (ordered) frequent items 100 {f, a, c, d, g, i, m, p} {f, c, a, m, p} 200 {a, b, c, f, l, m, o} {f, c, a, b, m} 300 {b, f, h, j, o, w} {f, b} 400 {b, c, k, s, p} {c, b, p} 500 {a, f, c, e, l, p, m, n} {f, c, a, m, p} 扫描 DB 一次, 找出频繁 1-itemset (单个项的模式) 按频率的降序将频繁项排序, 得到 f-list 再次扫描 DB, 构造 FP-树 F-list=f-c-a-b-m-p * 划分模式和数据库 可以按照f-list 将频繁模式划分成子集 F-list=f-c-a-b-m-p 包含 p的模式 包含 m 但不包含 p的模式 … 包含 c 但不包含 a, b, m, p 模式