关联分析基本概念和算法.ppt

(C) Vipin Kumar, Parallel Issues in Data Mining, VECPAR 2002 (C) Vipin Kumar, Parallel Issues in Data Mining, VECPAR 2002 关联分析: 基本概念和算法 定义:关联分析（association analysis） 关联分析用于发现隐藏在大型数据集中的令人感兴趣的联系，所发现的模式通常用关联规则或频繁项集的形式表示。 关联分析可以应用于生物信息学、医疗诊断、网页挖掘、科学数据分析等 定义: 频繁项集（Frequent Itemset） 项集（Itemset） 包含0个或多个项的集合 例子: {Milk, Bread, Diaper} k-项集 如果一个项集包含k个项 支持度计数（Support count ）(?) 包含特定项集的事务个数 例如： ?({Milk, Bread,Diaper}) = 2 支持度（Support） 包含项集的事务数与总事务数的比值 例如： s({Milk, Bread, Diaper}) = 2/5 频繁项集（Frequent Itemset） 满足最小支持度阈值（ minsup ）的所有项集 定义: 关联规则（Association Rule） 关联规则挖掘问题 关联规则挖掘问题：给定事务的集合 T, 关联规则发现是指找出支持度大于等于 minsup并且置信度大于等于minconf的所有规则, minsup和minconf是对应的支持度和置信度阈值 挖掘关联规则的一种原始方法是：Brute-force approach: 计算每个可能规则的支持度和置信度 这种方法计算代价过高，因为可以从数据集提取的规则的数量达指数级 从包含d个项的数据集提取的可能规则的总数R=3d-2d+1+1，如果d等于6，则R=602 挖掘关联规则（Mining Association Rules） 大多数关联规则挖掘算法通常采用的一种策略是，将关联规则挖掘任务分解为如下两个主要的子任务: 频繁项集产生（Frequent Itemset Generation） 其目标是发现满足最小支持度阈值的所有项集，这些项集称作频繁项集。 规则的产生（Rule Generation） 其目标是从上一步发现的频繁项集中提取所有高置信度的规则，这些规则称作强规则（strong rule）。 频繁项集产生（Frequent Itemset Generation） 频繁项集产生（Frequent Itemset Generation） Brute-force 方法: 把格结构中每个项集作为候选项集 将每个候选项集和每个事务进行比较，确定每个候选项集的支持度计数。 时间复杂度 ~ O(NMw)，这种方法的开销可能非常大。 降低产生频繁项集计算复杂度的方法 减少候选项集的数量 (M) 先验(apriori)原理 减少比较的次数 (NM) 替代将每个候选项集与每个事务相匹配，可以使用更高级的数据结构，或存储候选项集或压缩数据集，来减少比较次数 先验原理（ Apriori principle） 先验原理: 如果一个项集是频繁的，则它的所有子集一定也是频繁的 相反，如果一个项集是非频繁的，则它的所有超集也一定是非频繁的: 这种基于支持度度量修剪指数搜索空间的策略称为基于支持度的剪枝（support-based pruning） 这种剪枝策略依赖于支持度度量的一个关键性质，即一个项集的支持度决不会超过它的子集的支持度。这个性质也称为支持度度量的反单调性（anti-monotone）。 Apriori算法的频繁项集产生 Apriori算法的频繁项集产生 Apriori 算法 Apriori 算法 Apriori算法的频繁项集产生的部分有两个重要的特点： 它是一个逐层算法。即从频繁1-项集到最长的频繁项集，它每次遍历项集格中的一层 它使用产生-测试策略来发现频繁项集。在每次迭代，新的候选项集由前一次迭代发现的频繁项集产生，然后对每个候选的支持度进行计数，并与最小支持度阈值进行比较。 该算法需要的总迭代次数是kmax+1，其中kmax是频繁项集的最大长度 候选的产生与剪枝(构造apriori-gen函数) 蛮力方法 蛮力方法把所有的k-项集都看作可能的候选，然后使用候选剪枝除去不必要的候选 第k层产生的候选项集的数目为 虽然候选产生是相当简单的，但是候选剪枝的开销极大，因为必须考察的项集数量太大。 设每一个候选项集所需的计算量为O（k），这种方法 的总复杂度为 候选的产生与剪枝 候选的产生与剪枝 这种方法用其他频繁项来扩展每个频繁（k-1）-项集 这种方法将产生 个候