关联规则挖掘研究.pdfVIP

808 计算机技术与应用进展·2004 Ill 关联规则挖掘研究。 王媛媛胡学钢 合肥工业大学计算机与信息学院。230009 摘要文章论述了知识发现领域关联规则挖掘的现状，讨论了Apriori及FP增长等算法，并将 它们基于格的结构作比较，指出基于扩展概念格挖掘关联规则的优越性。并且针对超大型数据库， 分析了分布式并行关联规则挖掘的现状，提出了关联规则挖掘中值得关注却被忽视的问题。最后文 章阐述了关联规则在各领域的成功应用及发展。 关键词 知识发现数据挖掘 关联规则 并行 1 引 言 数据库和数据仓库技术的迅速发展，使得从数据中发现有用的知识和模式成为可能。在这样的技术 和经济背景下产生了KDD和Data Mining。而且数据库规模的激增以及经济科技全球一体化的逐步实现 使得有效的分布式并行挖掘成为迫切需要解决的问题。而关联规则作为一种数据挖掘可发现的模式一直 在KDD领域最受关注。 2概念简介 2．1关联规则描述 关联规则挖掘【1I是发现大量数据中项集之间有趣的关联或相关联系。从大量商务数据中发现有趣的 关联关系，可以帮助许多商务决策的制定。典型的关联规则挖掘是购物篮分析。 Y=B1^……AB…A 足最小支持度阂值和最小置信度闽值的规则称为强规则。 2．2关联规则挖掘类型 基于规则中处理的变量的类别，关联规则可以分为布尔型和数值型；基于规则涉及到的数据维，有 单维关联规则、多维关联规则；基于规则集涉及到的数据库的抽象层，有单层关联规则、多层关联规则。 从用户的角度出发，还可以采取基于约束的挖掘，如知识类型约束、数据约束、维或层约束、规则约 束等。 其中，多维关联规则的挖掘Ⅲ1根据量化属性可以有几种基本方法【12】：静态离散化：使用ARCS系统 ’作者简介：王嫒嫒，女，硕士研究生，主要研究方向为关联规则，数据挖掘 胡学钢，男，博士．教授，研究方向为数据挖掘、人工智能、数据结构等． vV． 的关联规则：基于距离的【l”量化属性挖掘方法。多层关联规则的挖掘是考虑到在底层零散数据上挖掘， 很难发现强规则，因而需要到较高的抽象层上挖掘。采用自顶向下的策略进行挖掘，方法有以下几种： 对于所有层使用一致的最小支持度；从高层到底层采用递减的最小支持度；逐层独立；交叉单项过滤： 交叉k．项集过滤等。 层多维分析的工具。OLAM(On—LineAnalytieal 起形成的体系。 3相关算法及分析 3．1 Apriori算法及优化 Apriori算法【”是一种最有影响的挖掘布尔关联规则的算法，算法基于频繁项集的先验知识，利用 步骤：连接和剪枝。连接是指通过将Lk_1与自身连接构成候选项集Ck。设Lk={Il，12I”…．Ik}，I．(；)表示 生出强关联规则了。 要一次数据库扫描，所需的时间随着数据库的增大指数倍增大。Apriori的变形算法可以部分地提高挖掘 的效率：如使用HASH表提高关联规则挖掘效率‘21；为寻找候选项集划分数据㈣；在给定数据上的子集 挖掘㈣；动态项集计数㈣；还有Apriori对记录加权的算法【5】以及对项加权的算法【21】等等。 3．2 FP．增长算法 FP．增长【13】，即频繁模式增长，可以不产生候选，它将提供频繁项集的数据库压缩到频繁模式树即 FP．树，但保留了项集关联信息，然后将这种压缩后的数据库分成一组条件数据库，每个关联一个频繁项， 并分别挖掘每个数据库。FP．增长实际上是递归地发现～些短模式，然后连接后缀，使用最不频繁的项最 为后缀，大大压缩了搜索开销。 3．3算法分析 考虑以F几个命题： (1)频繁项集的所有非空子集必须也是频繁的。 f2)项集l的任意非空子集1’的支持度至少和I的支持度一样大。 其中，s’是S的子集。 何项集至少在D的一个部分中是频繁的。 用于增量数据库中的挖掘关联规则。另外，在上述