6.挖掘频繁模式、关联和相关性.ppt

从数据库构建一个FP树 {}null f:4 c:1 b:1 p:1 b:1 c:3 a:3 b:1 m:2 p:2 m:1 项头表 Item frequency head f 4 c 4 a 3 b 3 m 3 p 3 min_sup= 3 TID Items bought (ordered) frequent items 100 {f, a, c, d, g, i, m, p} {f, c, a, m, p} 200 {a, b, c, f, l, m, o} {f, c, a, b, m} 300 {b, f, h, j, o} {f, b} 400 {b, c, k, s, p} {c, b, p} 500 {a, f, c, e, l, p, m, n} {f, c, a, m, p} 步骤: 扫描一次数据库，导出频繁项的集合（1-项集） 将频繁项按降序排列 再次扫描数据库，构建FP树 FP树的构建（第二次扫描数据库） 创建树的根节点，用null标记； 将每个事务中的项按递减支持度计数排列，并对每个事务创建一个分枝； 比如为第一个事务{f, c, a, m, p}构建一个分枝 当为一个事务考虑增加分枝时，沿共同前缀上的每个节点的计数加1，为跟随前缀后的项创建节点并连接 比如将第二个事务{f, c, a, b, m}加到树上时，将为f，c，a各增计数1，然后为{b, m}创建分枝 创建一个项头表，以方便遍历，每个项通过一个节点链指向它在树中的出现。 FP树结构的好处 完整性 不会打破任何事务数据中的长模式 为频繁模式的挖掘保留了完整的信息 紧凑性 减少了不相关的信息——非频繁的项被删除 按频率递减排列——使得更频繁的项更容易在树结构中被共享 数据量比原数据库要小 FP树挖掘 FP树的挖掘步骤： 由长度为1的频繁模式（初始后缀模式）开始，构造它的条件模式基（一个“子数据库”，由FP树中与后缀模式一起出现的前缀路径集组成。 构造该初始后缀模式的条件FP树，并递归的在该树上实现挖掘。模式增长通过后缀模式与条件FP树产生的频繁模式连接实现。 FP树挖掘——从FP树到条件模式基 从项头表开始挖掘，由频率低的节点开始 沿循每个（频繁）项的链接来遍历FP树 通过积累该项的前缀路径来形成一个条件模式基 Conditional pattern bases item cond. pattern base c f:3 a fc:3 b fca:1, f:1, c:1 m fca:2, fcab:1 p fcam:2, cb:1 {}null f:4 c:1 b:1 p:1 b:1 c:3 a:3 b:1 m:2 p:2 m:1 项头表 Item frequency head f 4 c 4 a 3 b 3 m 3 p 3 FP树挖掘——构建条件FP树 对每个条件模式基 为基中的每一项累积计数 为模式基中的频繁项构建FP树 m-条件模式基: fca:2, fcab:1 {} f:3 c:3 a:3 m-条件FP-树 所有关于m的频繁模式： m, fm, cm, am, fcm, fam, cam, fcam ? ? {}null f:4 c:1 b:1 p:1 b:1 c:3 a:3 b:1 m:2 p:2 m:1 项头表 Item frequency head f 4 c 4 a 3 b 3 m 3 p 3 * ECLAT:使用垂直数据格式挖掘频繁项集 * ECLAT:使用垂直数据格式挖掘频繁项集 * Chapter 6:挖掘频繁模式、关联和相关性 基本概念 频繁项集挖掘方法 模式评估方法 小结 关联规则的兴趣度度量 客观度量 两个流行的度量指标 支持度 置信度 主观度量 最终，只有用户才能确定一个规则是否有趣的，而且这种判断是主观的，因不同的用户而异；通常认为一个规则（模式）是有趣的，如果： 它是出人意料的 可行动的（用户可以使用该规则做某些事情） 挖掘了关联规则后，哪些规则是用户感兴趣的？强关联规则是否就是有趣的？ 对强关联规则的批评（1） 例1：(Aggarwal Yu, PODS98) 在5000个学生中 3000个打篮球 3750个喝麦片粥 2000个学生既打篮球又喝麦片粥 然而，打篮球 = 喝麦片粥 [40%, 66.7%]是错误的，因为全部学生中喝麦片粥的比率是75%，比打篮球学生的66.7%要高 打篮球 = 不喝麦片粥 [20%, 33.3%]这个规则远比上面那个要精确，尽管支持度和置信度都要低的多 对强关联规则的批评（2） 例1：(书P172) 上述数据可以得出 buys(X, “computer games”) = buys(X, “videos”) [40