数据挖掘技术与关联规则挖掘算法.docxVIP

数据挖掘技术与关联规则挖掘算法 数据挖掘是对数据进行理解分析， 对数据中隐藏的知识进行 挖掘发现的技术，所以也称为数据库中的知识发现（ KDD。数 据挖掘技术在近几年来的研究越来越深入， 这是数据研究工作者 经过长期在大量的应用过程中探索研究的成果。 在数据挖掘技术 中的关联规则是应用较为广泛的一种算法， 数据研究工作者在大 量数据中获取微量信息时， 关联规则能发挥其重要的价值。 本研 究在对数据挖掘技术相关概念进行分析的基础上， 对关联规则中 的集中常用算法进行探讨，以期为数据研究工作这提供可靠参 考。 数据挖掘技术介绍 数据挖掘技术的概念 数据挖掘技术是一门包容性以及开放性较强的跨领域数据 信息揭示学科， 这项技术能从大量含有噪声， 且模糊不确定的实 际业务数据中进行计算， 在这些数据中对当前尚未发现， 或者没 有被明确认知的具有一定价值的知识信息进行揭示。 在进行数据 挖掘中的业务数据形式不是单一固定的， 是复杂多样的， 所以数 据挖掘得出的分析结果形式能以多种形式表现出来， 可以是具有 较强逻辑性的数学表达式，也可以是容易被一般用户理解的结 果。且数据挖掘技术在科学研究、 市场分析等领域均得到了广泛 的应用。 数据挖掘技术分类 数据挖掘功能的分类主要是根据数据挖掘功能的不同进行 的，当前的数据挖掘技术主要有关联规则挖掘技术、 分类挖掘技 术、孤立点挖掘技术以及聚类挖掘技术等。 本研究主要对关联规 则挖掘算法进行详细探讨。 关联规则挖掘算法 2.1 关联规则种类介绍 关联规则按照不同的标准， 能用各种不同的方法分成不同类 型。将关联规则分为挖掘频繁项集、闭频繁项集、被约束频繁项 集、极大频繁项集，是根据挖掘模式的完全性分类的；将关联规 则分为多层和单层关联规则， 以及单位和多维关联规则是根据规 则所涉及的数据进行分类的； 将关联规则分为量化关联规则和挖 掘布尔型规则是根据规则处理值类型分类的； 将关联规则分为序 列模式挖掘、 频繁项集挖掘以及结构模式挖掘是根据俄关联规则 挖掘模式进行分类的； 将关联规则分为兴趣度约束、 知识类型约 束、数据约束，是根据规则所挖掘的约束类型分类的。 ?P 联规则挖掘算法分析 2.2.1 Apriori 算法分析 关联规则算法中的挖掘完全频繁项集中， Apriori 算法该类 型中最具有应用价值，影响力最大的算法。 Apriori 算法主要有 两个步骤： （1）发现所有的频繁集； （2）生成强关联规则。 在 Apriori 算法中的第一步是最为重要的步骤， 该算法的核 心思路是， 给定一个数据库， 在第一次数据库扫描中找出所有支 持度大于等于最小支持度的项目组成频繁 1—项集，也就是L1, 1—项集C1,由L1进行连接得到；接着进行第二次数据库扫描， 将 C1 中所有支持度大于等于最小支持度的项集组成频繁 2—项 集，也就是L2,候选2—项集C2由L2连接得到。以此类推，直 到找出最大项频繁集。即在进行第N次数据库扫描时，找出CN-1 中所有支持度大于等于最小支持度的项集组成频繁 N—项集，即 是LN, N—项集CN要由LN连接得出，一直到找不出新的选集为 止。在这里还要用到 Apriori 算法性质， 即是频繁项集是频繁项 集的子集， 非频繁项集是非频繁项集的超集。 在 Apriori 算法中 对数据库的扫描次数需要大于最大频繁项集的项数。 Apriori 算法的操作具有两个明显的缺点。（ 1）该算法的 使用需要对数据库进行多次扫描， 因此在读写操作上会花费很多 的时间， 从而增加挖掘算法的时间成本， 这种成本的增加不可小 觑，因为它是有数据库存储数据的增加， 以几何级数上升的成本； （2）Apriori 算法会出现众多的候选频繁集，频发集的产 生量在每一步都很大， 这会使算法在广泛度和深入度上的适应性 较差。 FP —growth 算法分析 FP—growth 算法是关联规则算法中属于深度优化的一种算 法，这种算法是深度优化算法中较新且具有较高成效的， 不同于 Apriori算法本质的常用算法。FP?—growth算法的基本基本步 骤有两个： （1） 先将频繁模式树 FP—tree 生成； （2） 在生成的 FP—tree 频繁模式树中搜索频繁项集。 （1）需要将项集关联信息保留住，并采用一棵频繁模式树 （FP—tree ）用来容纳压缩后的数据库； （2）再将压缩后的 FP—tree 再分散为几个小的条件数据库， 再分别对这些数据库进行信息挖掘。 FP—growth 算法相较于 Apriori 算法，只需要对数据库进行两次扫描， 不需要多次扫描， 大幅度减少了挖掘算法的时间成本；也不会出现大量的候选项 集，大幅度减少了频繁集的搜索空间。也就是说 FP—growth 算 法能明显提高时间