基于hadoop平台下的k均值高效算法的研究-电路与系统专业论文.docxVIP

万方数据 万方数据 西安电子科技大学 学位论文创新性声明 秉承学校严谨的学分和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名： 日期 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再攥写的文章一律署名单位为西安电子科技大学。 （保密的论文在解密后遵守此规定） 本学位论文属于保密，在 年解密后适用本授权书。 本人签名： 日期 导师签名： 日期 摘 要 摘 要 随着计算机处理能力的突飞猛进，现实生活中数据量的逐渐增加，人们能够 通过数据挖掘、机器学习等技术来挖掘数据中存在的信息。聚类是对点集进行考 察并按照某种距离测度将它们聚成多个簇的过程，它是数据挖掘领域中重要的技 术之一。 Hadoop 是 Apache 下的项目，它是用来作为构建云平台的计算框架。在这个 平台上，使用 HDFS 来存放数据，使用 MapReduce 编程方法对大数据进行处理。 本文介绍了 Hadoop 的子项目 HDFS 和 MapReduce 编程方法，比较了传统的 k-means 算法和 canopy 算法，并且分析了它们的优点和缺点，然后提出了改进的 k-means 算法。因为 canopy 算法选取比较随机，所以使用 “最小最大原则”对 canopy 算法进行了修改，并且使用 MapReduce 编程方法，以路透社新闻集作为实验数据， 最终实验结果表明，改进的算法相对于传统的算法在稳健性和准确率上有了很高 的提高。 关键词：聚类算法 MapReduce 分布式文件系统 k 均值 卡诺 Abstract Abstract The computer processing power is rapidly,the amount of data gradually increasing in real life. Through data mining ,machine learning techniques people can mine the information from the data.Through inspecting a set of points and according to some distance ,measuring them together into multiple “cluster”,this is clustering techniques,it is very important in data mining. Hadoop is an project under Apache, it is a computing platform for building cloud. On Hadoop platform, using HDFS (Distributed File System) to store data, using MapReduce programming model to achieve parallel processing of massive data. This paper discribles the HDFS and MapReduce programming method. Compare the kmeans and canopy clustering algorithms, and also analyzes the disadvantages and advantages of them. The improved kmeans is proposed. For random problems in Canopy ,Canopy-Kmeans algorithm select the minimum maximum principle to inprove the algorithm, the MapReduce programming method is used, Reuters news