第5次课关联规则new1.ppt

第5章 关联规则 关联规则研究趋势 关联规则挖掘的约束 多数发现频繁模式的数据挖掘技术针对数据集合。一般， 其目标是发现频繁出现在数据集中（超过用户定义的域值）的 所有模式。但用户往往想要通过增加额外的约束限制被发现的 模式，例如对模式结构的约束。 数据挖掘系统应该运用这些约束加速数据挖掘的过程。应 用到约束驱动的模式发现主要分以下几类： 1、后处理技术。在挖掘过程完成后，将不满足用户约束要 求的模式过滤掉； 2、模式过滤技术。将约束集成到数据挖掘过程中，只建立 满足用户约束的模式； 3、数据集合过滤。将不满足用户约束的数据集合过滤掉。 第5章 关联规则 关联规则的基本模型及算法 Let min_support = 50%, min_conf = 50%: A ? C (50%, 66.7%) C ? A (50%, 100%) Customer buys diaper Customer buys both Customer buys beer B, E, F 40 A, D 30 A, C 20 A, B, C 10 Items bought Transaction-id 第5章 关联规则 关联规则的基本模型及算法 For rule A ? C: support = support({A}?{C}) = 50% confidence = support({A}?{C})/support({A}) = 66.6% Min. support 50% Min. confidence 50% B, E, F 40 A, D 30 A, C 20 A, B, C 10 Items bought Transaction-id 50% {A, C} 50% {C} 50% {B} 75% {A} Support Frequent pattern 第5章 关联规则 关联规则的基本模型及算法 Apriori算法 Apriori算法是一种经典的生成布尔型关联规则的频繁项集挖掘算法.算法名字是缘于算法使用了频繁项集的性质这一先验知识. 思想: Apriori 使用了一种称作level-wise搜索的迭代方法,其中k-项集被用作寻找(k+1)-项集. 首先,找出频繁1-项集,以L1表示.L1用来寻找L2,即频繁2-项集的集合.L2用来寻找L3,以此类推,直至没有新的频繁k-项集被发现.每个Lk都要求对数据库作一次完全扫描.. 第5章 关联规则 关联规则的基本模型及算法 Apriori算法----频繁项集 为了避免计算所有项集的支持度（实际上频繁项集只占很少 一部分），Apriori算法引入潜在频繁项集的概念。若潜在频繁k项 集的集合记为Ck ，频繁k项集的集合记为Lk ，m个项目构成的k项 集的集合为 ，则三者之间满足关系Lk ?Ck ? 。构成潜在频繁 项集所遵循的原则是“频繁项集的子集必为频繁项集”。 第5章 关联规则 关联规则的基本模型及算法 Apriori算法----关联规则的性质 性质1：频繁项集的子集必为频繁项集。 性质2：非频繁项集的超集一定是非频繁的。 Apriori算法运用性质1，通过已知的频繁项集构成长度更大的项集，并将其称为潜在频繁项集。潜在频繁k项集的集合Ck 是指由有可能成为频繁k项集的项集组成的集合。以后只需计算潜在频繁项集的支持度，而不必计算所有不同项集的支持度，因此在一定程度上减少了计算量。 第5章 关联规则 关联规则的基本模型及算法 Apriori算法----关联规则的性质 Apriori算法是反单调的 即一个集合如果不能通过测试，则该集合的所有超集也 不能通过相同的测试。 第5章 关联规则 关联规则的基本模型及算法 {} a b c d e ab ac ad ae bc bd be cd ce de abc abd abe acd ace ade bcd bce bde cde abcd abce abde acde bcde abcde 若{c,d,e}是频繁的，则其 子集{c,d}、 {c,e}、 {d, e} {c}、{d} 、{e}一