4-关联挖掘.pptVIP

内容提要 什么是频繁模式分析？ 项集的支持度 关联规则的置信度 经典算法 Apriori算法 FP-growth算法 基于约束的关联规则挖掘 请根据如下内容，找出强关联规则 Sup_min=3/10 Conf_min=1 答案 4.3.2 FP-growth算法 定义4.10 FP-tree 频繁模式树FP-tree是一个树形结构。包括一个频繁项组成的头表，一个标记为“null”的根节点，它的子节点为一个项前缀子树的集合。 定义4.11 频繁项 单个项目的支持度超过最小支持度则称其为频繁项(Frequent Item)。 4.3.2 FP-growth算法 定义4.12 频繁项头表 频繁项头表(Head Table)的每个表项由两个域组成：项目名称item-name和指针node_link。node_link指向FP-tree中具有与该表项相同item-name的第一个节点。 定义4.13 频繁项头表 每个项前缀子树(Item Prefix Subtree)的节点有三个域：item-name，count，node_link。 item-name记录了该节点所代表的项的名字。 count记录了所在路径代表的交易中包含此节点项目的交易个数。 node_link指向下一个具有同样的item-name域的节点，要是没有这样一个节点，就为null。 示例 FP树的构建 扫描一次数据库，导出频繁1-项集 将频繁1-项集按支持度降序排列 将每个项集中的项按频繁1-项集的支持度降序排序，同时删除非频繁的项目。 频繁项集 总结 从条件模式基验证最小支持度，是为了删除非频繁项。 找出频繁项以后，挖掘频繁项集时，是将该项头表中的项与其他频繁项组合。 没有条件模式基的、频度最高的项f是属于频繁项集的。 示例2 找出频繁1-项集，并整理I中的每一个项集：删除非频繁的项目，保留频繁项目并按支持度降序排列 将频繁1-项集作为项头表，用整理后的I构建FP树。 从条件模式基，验证单项最小支持度，构造频繁项集 比较用Apriori算法和FP-growth算法的发现的频繁项集 4.4 相关研究与应用 分类： 基于规则中涉及到的数据的维数，关联规则可以分为单维的和多维的。 基于规则中数据的抽象层次，可以分为单层关联规则和多层关联规则。 基于规则中处理的变量的类型不同，关联规则可以分为布尔型和数值型。 C(6,4)=15 C(6,5)=6 Apriori算法——示例 Database TDB 1st scan C1 L1 L2 C2 C2 2nd scan C3 L3 3rd scan Tid Items 10 A, C, D 20 B, C, E 30 A, B, C, E 40 B, E Itemset sup {A} 2 {B} 3 {C} 3 {D} 1 {E} 3 Itemset sup {A} 2 {B} 3 {C} 3 {E} 3 Itemset {A, B} {A, C} {A, E} {B, C} {B, E} {C, E} Itemset sup {A, B} 1 {A, C} 2 {A, E} 1 {B, C} 2 {B, E} 3 {C, E} 2 Itemset sup {A, C} 2 {B, C} 2 {B, E} 3 {C, E} 2 Itemset {B, C, E} Itemset sup {B, C, E} 2 Sup_min=2 Itemset {A,B, C} {A,B,E} {B,C,E} 由频繁项集产生关联规则 同时满足最小支持度和最小置信度的才是强关联规则，从频繁项集产生的规则都满足支持度要求，而其置信度则可由以下公式计算： 每个关联规则可由如下过程产生： 对于每个频繁项集l，产生l的所有非空子集； 对于每个非空子集s，如果 则输出规则“ ” 由频繁项集产生关联规则 Itemset sup {A} 2 {B} 3 {C} 3 {E} 3 本例题中，设定 Sup_min=2/5 Conf_min=3/4 时， 关联规则是： A=C B=E E=B {C,E}=B {C,B}=E 提高Apriori算法的有效性 Apriori算法主要的挑战 要对数据进行多次扫描； 会产生大量的候选项集； 对候选项集的支持度计算非常繁琐； 解决思路 减少对数据的扫描次数； 缩小产生的候选项集； 改进对候选项集的支持度计算方法 不产生候选频繁项集的算法——FP树 Apriori算法的主要开销： 可能要产生大量的候选项集 104个频繁1-项集会导致107个频繁2-项集 对长度为100的频繁模式，会产生2100个候选 重复扫描数据库，通过模式