基于STORM的流数据分类挖掘算法的研究-计算机软件与理论专业论文.docxVIP

南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。 研究生签名： 日期： 南京邮电大学学位论文使用授权声明 本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档； 允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索；可以 采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质论文 的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院办理。 涉密学位论文在解密后适用本授权书。 研究生签名： 导师签名： 日期： 摘要 随着网络、传感器技术的快速发展与应用，越来越多的流数据正在产生，因此针对流数 据的挖掘技术逐步兴起。流数据挖掘是指从大规模、快速到达、异构的数据源中有效地挖掘 有价值知识的数据处理技术。 本文把面向流数据的分类挖掘算法作为研究重点，以提高流数据分类挖掘效率以及分类 精度为目标，既研究算法本身的改进又研究算法基于流数据处理平台Storm的分布式并行化。 以提高实时在线流数据的分类挖掘时间效率为目标，将快速决策树算法 VFDT 部署到流 数据计算平台 Storm 上，设计了 VFDT 算法基于 Storm 的分布式并行化方案。通过正确设计 Topology 中的 Spout/Bolt 实现各模块的功能，通过为分类 Bolt 设定多个 Task 来实现分类模块 的并行化；用内存数据库 Redis 实现模块的有效衔接和决策树的保存；用消息中间件 Kafka 来提高算法对流数据突增的容忍度。基于该方案的 VFDT 算法实现与测试结果表明，在 Storm 集群环境下，VFDT 算法的时间效率相对于单机环境有显著提高，而且合理设定分类 Bolt 的 Task 可使分类效率进一步提高。 针对高维数据集，以进一步提高在线流数据分类模型建立的时间效率为目标，对VFDT 算法实施垂直并行化，设计了垂直并行化的快速决策树算法（Vertical Parallelism Very Fast Decision Tree，VPVFDT）。该算法将VFDT算法的属性信息增益的计算做并行化处理，从而提 高样本处理效率。在此基础上，通过将VPVFDT部署到Storm平台上运行，更进一步提高了算 法的处理效率，也增强了算法的可拓展性。实验结果表明，在Storm集群环境下，VPVFDT算 法在一定程度上可以提高高维训练样本的处理效率。 以提高VFDT算法的分类精确度为目标，将随机森林算法思想集成到VFDT算法中，提出 了基于随机森林的快速决策树算法（Random Forest Very Fast Decision Tree，RFVFDT）。 RFVFDT算法采用随机森林的决策树构造标准建立分类器模型，并采用滑动窗口技术来满足 流数据的无界性以及避免在算法执行过程中的延迟和数据丢失。通过基于Storm平台的仿真实 验验证了RFVFDT算法在分类精度和可拓展性方面的优势。 本文所研究的方案和算法能适应大规模流数据的实时性、快速性和无限性，研究内容较 先进，研究成果具有一定的理论价值和较好的实用性，可用于电子商务、互联网等拥有流数 据的应用场景。 关键词：流数据，分类挖掘，快速决策树，分布式并行化，随机森林 I Abstract Along with the rapid expansion and wide application of technology in the domain of network and sensor, an increasing number of stream data are generated. Therefore, the data mining technology aiming at stream data is gradually rising. In concrete terms, it refers to the data handling techniques which may effectively mine valuable information from the large-scale, fast and heterogeneous data sources. This thesis deals with classification