关联规则分析 高级人工智能.pptVIP

AA12 关联规则 史忠植 高级人工智能第十二章 史忠植 中国科学院计算技术研究所 内容提要 引言 Apriori 算法 Frequent-pattern tree 和FP-growth 算法 多维关联规则挖掘 相关规则 关联规则改进 总结 关联规则 关联规则反映一个事物与其他事物之间的相互依存性和关联性。如果两个或者多个事物之间存在一定的关联关系，那么，其中一个事物就能够通过其他事物预测到。关联规则表示了项之间的关系。 示例: cereal, milk ? fruit “买谷类食品和牛奶的人也会买水果.” 商店可以把牛奶和谷类食品作特价品以使人们买更多的水果. 市场购物篮分析 分析事务数据库表 我们是否可假定? Chips = Salsa Lettuce = Spinach 基本概念 通常, 数据包含: 关联规则挖掘 在事务数据库,关系数据库和其它信息库中的项或对象的集合之间,发现频繁模式,关联,相关,或因果关系的结构. 频繁模式: 数据库中出现频繁的模式(项集,序列,等等) 基本概念 项集 事务 关联规则 - 事务数据集 (例如右图) 事务标识 TID 每一个事务关联着一个标识,称作TID. 关联规则的度量 支持度s D中包含A和 B 的事务数与总的事务数的比值 规则 A?B 在数据集D中的支持度为s, 其中s 表示D中包含A?B (即同时包含A和B)的事务的百分率. 关联规则的度量 可信度 c D中同时包含A和B的事务数与只包含A的事务数的比值 关联规则的度量 关联规则根据以下两个标准(包含或排除): 最小支持度 – 表示规则中的所有项在事务中出现的频度 最小可信度 - 表示规则中左边的项(集)的出现暗示着右边的项(集)出现的频度 市场购物篮分析 I是什么? 事务ID B的T是什么? s(Chips=Salsa) 是什么? c(Chips=Salsa)是什么? 频繁项集 项集 – 任意项的集合 k-项集 – 包含k个项的项集 频繁 (或大)项集 – 满足最小支持度的项集 若I包含m个项,那么可以产生多少个项集? 强关联规则 给定一个项集,容易生成关联规则. 项集: {Chips, Salsa, Beer} Beer, Chips = Salsa Beer, Salsa = Chips Chips, Salsa = Beer 强规则是有趣的 强规则通常定义为那些满足最小支持度和最小可信度的规则. 关联规则挖掘 两个基本步骤 找出所有的频繁项集 满足最小支持度 找出所有的强关联规则 由频繁项集生成关联规则 保留满足最小可信度的规则 内容提要 引言 Apriori 算法 Frequent-pattern tree 和FP-growth 算法 多维关联规则挖掘 相关规则 关联规则改进 总结 Apriori算法 IBM公司Almaden研究中心的R.Agrawal 等人在1993年提出的AIS和SETM。 在1994年提出Apriori和AprioriTid。Apriori和AprioriTid算法利用前次过程中的数据项目集来生成新的候选数据项目集，减少了中间不必要的数据项目集的生成，提高了效率 生成频繁项集 Na?ve algorithm n - |D| for each subset s of I do l - 0 for each transaction T in D do if s is a subset of T then l - l + 1 if minimum support = l/n then add s to frequent subsets 生成频繁项集 na?ve algorithm的分析 I 的子集: O(2m) 为每一个子集扫描n个事务 测试s为T的子集: O(2mn) 随着项的个数呈指数级增长! 我们能否做的更好? Apriori 性质 定理(Apriori 性质): 若A是一个频繁项集,则A的每一个子集都是一个频繁项集. 证明:设n为事务数.假设A是l个事务的子集,若 A’ ? A , 则A’ 为l’ (l’ ? l )个事务的子集.因此, l/n ≥s(最小支持度), l’/n ≥s也成立. Apriori 算法 Apriori算法是一种经典的生成布尔型关联规则的频繁项集挖掘算法.算法名字是缘于算法使用了频繁项集的性质这一先验知识. 思想: Apriori 使用了一种称作level-wise搜索的迭代方法,其中k-项集被用作寻找(k+1)-项集. 首先,找出频繁1-项集,以L1表示.L1用来寻找L2,即频