基于数据流的分布式并行谱聚类算法的研究-计算机软件与理论专业论文.docxVIP

万方数据 万方数据 Dissertation Submitted to Hangzhou Dianzi University for the Degree of Master The Research of distributed parallel spectral clustering algorithm based on data stream Candidate: Cheng ming zhong Supervisor: Prof. Hu wei hua March，2016 杭州电子科技大学 学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明： 所呈交的学位论文，是本人在导师的指导下，独立进行研 究工作所取得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人 或集体已经发表或撰写过的作品或成果。对本文的研究做出重要贡献的个人和集 体，均已在文中以明确方式标明。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 论文作者签名： 日期： 年 月 日 学位论文使用授权说明 本人完全了解杭州电子科技大学关于保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属杭州电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为杭州电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。（保密论文 在解密后遵守此规定） 论文作者签名： 日期： 年 月 日 指导教师签名： 日期： 年 月 日 杭州电 杭州电子科技大学硕士学位论文 摘 要 在信用卡欺诈检测、股票和证券市场交易(金融分析)、网络入侵监测、社交 网络分析等现实世界的行为活动中，数据以无限的、实时的、动态的流形式出现。 根据数据流无穷、实时、有序、大规模等特性可知，对静态数据进行聚类的算法 无法达到数据流的处理要求。本文针对以上问题从三个方面予以研究： 1、根据 CluStream 聚类算法的主要架构思想，把 OOSCA 算法(Online Offline Spectral Clustering Algorithm，OOSCA)分为在线层汇总数据概要结构信息和离线 层精确聚类双层架构模型。由于数据流大规模高维的特性，本文利用核函数成分 分析法(KPCA)对数据进行降维，又因为界标窗口不能解决滑动窗口数据模型， 而滑动窗口对大量信息的维护增加了数据存储的负载，因此，提出基于 KPCA 的时间衰减的数据流在线聚类方法。 2、离线层采用基于图论思想的谱聚类规划方法，可以利用图的最优、最佳 划分的解决方案来代替对大量数据集的聚类操作。它能够适用于现实世界中任何 形态的样本集合，并可以最大程度地接近最优解。首先，本文利用 NIF(New Intuitionistic Fuzzy , NIF)相似度量的方法创建相似矩阵。为了提高聚类的效果和 精度，采用改进的 t-最近邻方法对相似矩阵进行稀疏化，并对其结果作离群点调 优处理。应用ε-最近邻粗糙集模型计算 k-means 的初始聚类中心并对数据进行 聚类。 3、在数据进行聚类的过程中存在大规模的繁杂运算，因此算法时间复杂度 较高。在构建相似矩阵、求解 Laplacian 矩阵的前 k 个特征向量和计算 k-means 初始聚类中心时，它们之间不存在相互依赖的紧密关系，所以本文结合 Hadoop MapReduce 分布式存储和并行计算等各种有利的特性，对上述三个阶段进行并行 计算，进而减少聚类复杂运算所花费的时间。 实验结果表明，改进后的数据流分布式并行谱聚类算法在聚合质量、精度、 减少计算量等各方面具有较好的效果。最后，对本文所做的相关工作予以总结， 并对其他方面的探索做出展望。 关键词：谱聚类，数据流，并行计算，特征向量，k-means，相似矩阵。 I ABSTRACT In the behaviors and activities in real-world, credit card fraud detection, stocks and securities trading (financial analysis), network intrusion detection, and social network analysis, data emerges in the form of unlimited, real-time and dynamic flow. According to the data stream’s characteristics like infinity, instantaneity, orderliness, mass scale, it’s be