基于Weka平台的关联分析算法研究-电子与通信工程专业论文.docxVIP

浙江工 浙江工业大学硕士学位论文 万方数据 万方数据 Dissertation Submitted to Zhejiang University of Technology for the Degree of Master Research of Association Analysis Algorithm Based on Weka Candidate: XiaoYu Guo Advisor: Prof. Xiongxiong He College of Information Engineering Zhejiang University of Technology October 2015 浙江工业大学 学位论文原创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工作 所取得的研究成果。除文中已经加以标注引用的内容外，本论文不包含其他个人或 集体已经发表或撰写过的研究成果，也不含为获得浙江工业大学或其它教育机构的 学位证书而使用过的材料。对本文的研究做出重要贡献的个人和集体，均已在文中 以明确方式标明。本人承担本声明的法律责任。 作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留 并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本 人授权浙江工业大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 1、保密□，在_ 年解密后适用本授权书。 2、不保密□。 （请在以上相应方框内打―√‖） 作者签名： 日期： 年 月 日 导师签名： 日期： 年 月 日 基于 Weka 平台的关联分析算法研究 摘 要 随着数据收集和数据存储技术的快速发展，我们已经进入了大数据时代。关联分析是 数据挖掘中最活跃的研究方向之一，它用于发现隐藏在大型数据集中的有意义的联系。目 前已广泛应用于 Web 挖掘、文档分析、通信警告分析、网络入侵检测和生物信息学等领域 中。因此，研究关联分析技术具有一定的理论意义和实用价值。 Apriori算法是挖掘关联规则所需频繁项集的基本方法，也是最经典的关联规则挖掘算 法。然而该算法需要多次扫描数据库、产生大量的候选项集等缺点。为了解决这两个问题， 本文在现有算法的研究基础上，提出了一种对项进行编码并基于 Fk ?1 ??Fk ?1 方法对不同的项 的编码之间进行“与”运算的思想，对算法进行了优化，这有利于减少数据库的 I / O 操作 时间开销，提高挖掘的速度。最后结合一个实例在Weka上进行了关联挖掘，说明了关联分 析在商业决策活动中具有一定的实用价值。本文主要工作如下： 1. 从理论上讨论分析了关联分析技术，分析了频繁项集的产生问题、基于先验原理的 剪枝技术、规则的产生、兴趣度客观度量等问题。介绍了常用的关联分析算法，分析比较 了算法的优缺点。 2. 提出了一种对项进行编码并结合 Fk ?1 ??Fk ?1 方法对不同的项的编码之间进行“与”运 算的优化算法。项编码的前提是首先对数据集中的所有项进行二元表示，根据其在数据集 中出现的位置进行编码。在对项进行“与”操作产生更高阶频繁项集的过程中，结合使用 Fk ?1 ??Fk ?1 的方法，即合并一对频繁 (k ?1)??项集时，仅当它们的 k ??2 个项都相同。最后通过 前后对比，验证了此算法的优越性。 3. 最后将算法进行实践应用。利用 Weka 平台对一个日常的超市购物数据集进行预处 理和挖掘，并通过对参数组合的优化，对不同参数下挖掘出的模式进行分析。从这些数据 中发现关联规则，并从这些关联规则中挖掘出有用的信息，通过实验表明了关联分析技术 对于改进商业活动的决策具有重要指导作用。 关键字：数据挖掘，关联分析， Apriori 算法，项编码，Weka RESEARCH OF ASSOCIATION ANALYSIS ALGORITHM BASED ON WEKA ABSTRACT With the rapid development of data collection and data storage technology, we have entered into the era of big data. Association analysis as one of the most active data mining research directions is used to find the meaningful connections hidding in large data sets. It has been widely applied