基于Spark的岩石图像聚类分析算法研究-计算机技术专业论文.docxVIP

学位论文创新性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他 人已经发表或撰写过的研究成果；也不包含为获得西安石油大学或其它教育机构的学位 或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做 了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 论文作者签名： 日期：  学位论文使用授权的说明 本人完全了解西安石油大学有关保留和使用学位论文的规定，即：研究生在校攻读学 位期间论文工作的知识产权单位属西安石油大学。学校享有以任何方法发表、复制、公 开阅览、借阅以及申请专利等权利，同时授权中国科学技术信息研究所将本论文收录到 《中国学位论文全文数据库》并通过网络向社会公众提供信息服务。本人离校后发表或 使用学位论文或与该论文直接相关的学术论文或成果时，署名单位仍然为西安石油大学。 论文作者签名： 日期：  导 师 签名： 日期：  ·注：如本论文涉密，请在使用授权的说明中指出（含解密年限等）。 I 中文摘要 论文题目：基于 Spark 的岩石图像聚类分析算法研究 专 业：计算机技术 硕 士 生： (签名) 导 师： (签名) 摘 要 随着互联网技术迅速增长，人们所能接触到的信息量与日俱增，因此人们对于处理 这些海量数据的工具的需求也就越来越高。图像作为一种表现直观、内容丰富的基本的 多媒体信息，不管是在科学技术还是在日常生活中得到越来越广泛的应用。对于海量的 图像数据，如何能够快速有效地进行管理与检索，继而从中获取潜在的有价值的信息成 为人们关注的问题。当前正被人们广为使用的 Hadoop 平台由于在处理速度上达到其瓶 颈，也逐渐满足不了人们的需求。此时，Spark 的出现为人们带来了希望。其在处理速 度上可高过 Hadoop 百倍之多，这为人们节省了大量的时间，也使得其在迭代和交互式 计算方面远超过 Hadoop[1]。大数据的??心处理之一就是数据挖掘，聚类分析作为数据挖 掘的一个重要研究内容近年来也受到了不少关注，传统的聚类算法已无法满足海量信息 的处理需求，因此高效的聚类技术应运而生。 鉴于目前国内外对 Spark 平台上的聚类算法实现研究甚少，因此本文对 Spark 平台 的岩石图像进行聚类算法的处理。本文的主要工作如下： 1.Spark 平台研究。Spark 平台作为当下新兴的大数据平台相比于已经被广泛使用的 Hadoop 平台存在很多优点，出于多方面的考虑本文选取 Spark 平台。 2.K-means 算法及其改进。由于传统的 K-means 算法在聚类时特别依赖初始聚类中 心的选择，一旦选择的初始聚类中心不合适，算法就很容易陷入单个聚类的最优值，并 且分割效果与聚类数目 K 也有很大的关系，因此本文提出了一种基于概率选择的改进的 K-means 算法，通过此算法得到的数据集远远小于初始数据集，因此会大大提高 K-means 聚类的速度。 3.将改进的 K-means 算法应用于处理岩石图像中，使用 K-means 算法对岩石图像进 行特征提取，使得岩石图像易于区分。 4.将改进的 K-means 算法应用于 Spark 平台实现其高效性。 关键字：Hadoop, Spark, 迭代计算, 数据挖掘, 聚类分析 论文类型：应用研究 II 英文摘要 Subject ： Rock Image Clustering Analysis Algorithm Research Based On Spark Speciality： Computer Technology Name ： (signature) Instructor： (signature ) ABSTRACT With the rapid growth of Internet technology, the amount of information that people can access is growing day by day. Therefore the demand of the tools that process these massive data is more and more high. Images, as a kind of intuitive and content-rich multimedia information, hive an extensive application in science technology and daily life. How to manage and ret