第4章 关联分析.pptVIP

(C) Vipin Kumar, Parallel Issues in Data Mining, VECPAR 2002 (C) Vipin Kumar, Parallel Issues in Data Mining, VECPAR 2002 第4章 关联分析 问题定义 频繁项集的产生 关联规则的产生 关联模式的评估 关联分析中的事务数据处理 多层关联规则 序列模式 4.1 问题定义 什么是关联分析 关联分析中的基本概念 购物篮数据的二元表示 项集和支持度计数 关联规则 支持度 置信度 关联规则挖掘分类 关联规则挖掘问题的形式描述 关联规则挖掘任务分解 频繁项集产生 规则的产生 4.1.1 什么是关联分析 关联分析（association analysis）用于发现隐藏在大型数据集中的令人感兴趣的联系，所发现的模式通常用关联规则或频繁项集的形式表示。 关联分析可以应用于购物篮分析、交叉销售、医疗诊断、网页挖掘、科学数据分析等。 4.1.2 关联分析中的基本概念 购物篮数据的二元表示 如果问题的全域是商店中所有商品的集合，则对每种商品称为一个项； 每个购物篮即顾客的一次购买称为一个事务，它对应购物篮数据集中的一行 ，而购物篮数据集的每一列对应一个项； 项可以用一个二元的布尔量（0/1）来表示，如果项在事务中出现，则它的值为1，否则为0。即表示商品是否被顾客购买，用1表示购买，用0表示没有购买； 因此，一个事务可以用一个布尔向量表示； 通过分析布尔向量则可以得到商品被频繁关联或被同时购买的模式，这些模式就可以用关联规则表示。 购物篮数据的二元0/1表示 4.1.2 关联分析中的基本概念 项集（Itemset） 包含0个或多个项的集合 例: {Milk, Bread, Diaper} k-项集：包含k个项的集合 例: {Milk, Bread, Diaper}是个3-项集 每个事务T由事务标识符TID标识，它是项的集合 例: TID(4)={Bread, Milk, Diaper , Coke} 任务相关数据D是事务数据的集合 支持度计数（Support count ）(?) 包含特定项集的事务个数 例如： ?({Milk, Bread,Diaper}) = 2 支持度（Support） 包含项集的事务数与总事务数的比值 例如： s({Milk, Bread, Diaper}) = 2/5 频繁项集（Frequent Itemset） 满足最小支持度阈值（ minsup ）的所有项集 关联规则 关联规则的形式化定义 给定： 项的集合：I={i1,i2,...,in} 任务相关数据D是事务数据的集合，每个事务T则是项的集合，使得 每个事务由事务标识符TID标识； A,B为两个项集，事务T包含A当且仅当 则关联规则是如下蕴涵式： 其中 并且 ，规则 在事务集D中成立，并且具有支持度s和置信度c。 4.1.3 关联规则挖掘分类 关联规则有多种分类： 根据规则中所处理的值类型 布尔关联规则 量化关联规则（规则描述的是量化的项或属性间的关联性） 根据规则中涉及的数据维 单维关联规则 （仅涉及buys这个维） 多维关联规则 根据规则集所涉及的抽象层 单层关联规则 多层关联规则 （在不同的抽象层发现关联规则） 根据关联挖掘的各种扩充（略） 4.1.3 关联规则挖掘问题的形式描述 关联规则挖掘问题：给定事务的集合 T, 关联规则发现是指找出支持度大于等于 minsup并且置信度大于等于minconf的所有规则， minsup和minconf是对应的支持度和置信度阈值 挖掘关联规则的一种原始方法是：Brute-force approach: 计算每个可能规则的支持度和置信度 这种方法计算代价过高，因为可以从数据集提取的规则的数量达指数级 从包含d个项的数据集提取的可能规则的总数R=3d-2d+1+1，如果d等于6，则R=602 4.1.4 关联规则挖掘任务分解 大多数关联规则挖掘算法通常采用的一种策略是，将关联规则挖掘任务分解为如下两个主要的子任务: 频繁项集产生（Frequent Itemset Generation） 其目标是发现满足最小支持度阈值的所有项集，这些项集称作频繁项集。 规则的产生（Rule Generation） 其目标是从上一步发现的频繁项集中提取所有满足最小置信度阈值的规则，这些规则称作强规则（strong rule）。 4.2 频繁项集产生 频繁项集产生 Brute-force 方法: 把格结构中每个项集作为候选项集 将每个候选项集和每个事务进行比较，确定每个候选项集的支持度计数。 这种方法