面向大数据的高效数据挖掘算法研究-计算机科学与技术；计算机应用技术专业论文.docxVIP

I}IIIIlll I}IIIIlll I II Ill Il ll II III； Classified Index：TP301．6 U．D．C：004 。篁”j笋3纠 Thesis for the Master Degree Research on High Efficient Data Mining Algorithm for Big Data Candidate： Shaolong Liu Supervisor： Prof．Bi姐ng Lin Academic Degree Applied for： Master of Engineering Speciality： Technology of Computer Application School： School of Control and Computer Engineering Date of Defence： March，2016 Degree-Conferring—Institution： North China Electric Power University 万方数据 华北电力大学硕士学位论文原创性声明本人郑重声明：此处所提交的硕士学位论文《面向大数据的高效数据挖掘算法 华北电力大学硕士学位论文原创性声明 本人郑重声明：此处所提交的硕士学位论文《面向大数据的高效数据挖掘算法 研究》，是本人在导师指导下，在华北电力大学攻读硕士学位期间独立进行研究工 作所取得的成果。据本人所知，论文中除己注明部分外不包含他人已发表或撰写过 的研究成果。对本文的研究工作做出重要贡献的个人和集体，均己在文中以明确方 式注明。本声明的法律结果将完全由本人承担。 作者签名：剀乡古 目期：训形年；月旷日 华北电力大学硕士学位论文使用授权书 《面向大数据的高效数据挖掘算法研究》系本人在华北电力大学攻读硕士学位 期间在导师指导下完成的硕士学位论文。本论文的研究成果归华北电力大学所有， 本论文的研究内容不得以其它单位的名义发表。本人完全了解华北电力大学关于保 存、使用学位论文的规定，同意学校保留并向有关部门送交论文的复印件和电子版 本，允许论文被查阅和借阅，学校可以为存在馆际合作关系的兄弟高校用户提供文 献传递服务和交换服务。本人授权华北电力大学，可以采用影印、缩印或其他复制 手段保存论文，可以公布论文的全部或部分内容。 本学位论文属于(请在以上相应方框内打“√”)： 保密口，在 年解密后适用本授权书 不保密囹 作者签名：纠乡面 日期：砂形年弓月15 B 导师签名：言夺髡荟 日期：山唰年≥月，』～日 万方数据 华北电力大学硕士学位论文摘 华北电力大学硕士学位论文 摘 要 数据挖掘是分析和处理数据的重要方法，它可以从数据中挖掘出有价值的信 息，为决策者提供决策支持。近几年来，随着信息技术的发展，人们每天产生的数 据量正以前所未有的速度增长和累积。巨大的数据量及复杂的数据类型，对已有的 数据挖掘算法提出了新的挑战。特别是大数据概念的提出，由于其具有数据量大、 多样性、高效性等特点，传统的数据挖掘算法受限于内存、效率、扩展性等因素而 无法有效地处理大数据。如何更加高效地处理大数据，从中挖掘所需的信息，成为 当前研究大数据的热点。 目前，对大数据挖掘的研究，主要还是依赖于海量数据的处理技术。这些技术 主要包括抽样技术、增量式技术、分布式技术、云计算等。聚类分析在数据挖掘占 有重要地位，在实际中有着广泛的应用。本文把面向大数据的聚类算法作为研究对 象，重点研究了基于增量式的聚类算法和基于分布式的聚类算法。 在增量式聚类中，分析了单个数据块的聚类结果质量和数据块之间聚类信息的 传递对最终结果的影响，并提出了改进方法，提高聚类精度。对于单个数据块，通 过优化初始聚类中心，来提高聚类结果质量。对于数据块之间信息的传递，通过选 取多个传递点，以传递更加精确的信息。分布式聚类可以分为局部聚类阶段和全局 聚类阶段。在现有的算法中，局部聚类阶段数据块之间几乎没有信息交流，容易出 现局部聚类信息丢失的现象。本文通过向各数据块传递所有局部聚类结果的方式， ，重新对各数据块聚类，修正局部聚类结果，以得到更纯的子类。全局聚类阶段是对 局部结果的合并，本文通过综合考虑局部结果之间的距离差异性和分布差异性，改 进了合并方法。最后，在典型的数据集上验证了算法，并与其它的算法进行了对比。 实验证明，这两种改进算法均是可行和有效的，而且提高了聚类精度。 关键词：大数据；数据挖掘；聚类算法；增量式技术；分布式技术 万方数据 万方数据 万方数据 华北电力大学硕士学位论文Abstract 华北电力大学硕士学位论文 Abstract Data mining is an important method to analyze