关联分析基本概念和算法共95页.pptVIP

SUMMER TEMPLATE 关联分析基本概念与算法  关联分析:基本概念和算法 第6章 关联分析:基本概念和算法  定义:关联分析( association analysis) 关联分析用于发现隐藏在大型数据集中的令人感 兴趣的联系,所发现的模式通常用关联规则或频 繁项集的形式表示 关联分析可以应用于生物信息学、医疗诊断、网 页挖掘、科学数据分析等 TD tems Bread. milk 12345 Bread, Diaper, Beer, Eggs Rules discovered Milk, Diaper Beer, Coke [Diaper]--Beer] Bread. Milk, diaper beer Bread, Milk, Diaper Coke  定义:频繁项集( Frequent Itemset) 项集( Itemset) 包含0个或多个项的集合 ◆例子:Mk, Bread, Diaper k项集 ID tems ◆如果一个项集包含k个项 Bread. milk 支持度计数( Support count)(o) 包含特定项集的事务个数 234 Bread, Diaper, Beer, Eggs Milk, Diaper, Beer, Coke 例如:({Mik, Bread, Diaper})=2 Bread, Milk, Diaper Beer 支持度( Support) 5Bread,Milk,Diaper,Coke 包含项集的事务数与总事务数的比值 例如:s(Mik, Bread, Diaper})=2/5 频繁项集( Frequent Itemset) 满足最小支持度阈值( minsup)的所 有项集  定义:关联规则( Association rule) 关联规则 关联规则是形如Ⅹ→Y的蕴含表达 Bread. Milk 式,其中X和Y是不相交的项集 Bread, Diaper Beer, Eggs 例子 Milk, Diaper, Beer, Coke [Milk, DiaperBeery 12345 Bread, Milk, Diaper, Beer Bread, Milk, Diaper, Coke 关联规则的强度 支持度 Support(s) Example ◆确定项集的频繁程度 Milk, Diaper}→Beer 置信度 Confidence(c) ◆确定Y在包含Ⅹ的事 o(Milk, Diaper, Beer) 2 务中出现的频繁程度 ITI o(Milk, Diaper, Beer 0.67 o( Milk, Diaper) 3  关联规则挖掘问题 关联规则挖掘问题:给定事务的集合T,关联规则 发现是指找出支持度大于等于 minsup并且置信度 大于等于 rincon所有规则, mInsup和 minion是 对应的支持度和置信度阈值 挖掘关联规则的一种原始方法是: Brute- force approach 计算每个可能规则的支持度和置信度 这种方法计算代价过高,因为可以从数据集提取的规则 的数量达指数级 从包含d个项的数据集提取的可能规则的总数R=3 20+1+1,如果d等于6,则R=602  挖掘关联规则( Mining Association Rules) 大多数关联规则挖掘算法通常采用的一种策略是 ,将关联规则挖掘任务分解为如下两个主要的子 任务: 1.频繁项集产生( Frequent Itemset Generation) 其目标是发现满足最小支持度阈值的所有项集,这些项集称 作频繁项集。 2.规则的产生( Rule Generation) 其目标是从上一步发现的频繁项集中提取所有高置信度的规 则,这些规则称作强规则( strong rule)  频繁项集产生( Frequent Itemset Generation) 格结构( lattice structure) AE ACE ABCD ABCE ABDE ACDE ABCDE  频繁项集产生( Frequent Itemset Generation) ● Brute- force方法 把格结构中每个项集作为候选项集 将每个候选项集和每个事务进行比较,确定每个候选项集 的支持度计数 Transactions List of Candidates TID Items bRead, Milk 2Bread, Diaper, Beer, eggs N 3 Milk, Diaper, Beer, Coke