面向数据流挖掘算法的研究与改进-计算机技术专业毕业论文.docxVIP

万方数据 万方数据 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。 研究生签名： 日期： 南京邮电大学学位论文使用授权声明 本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档； 允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索；可以 采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质论文 的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院办理。 涉密学位论文在解密后适用本授权书。 研究生签名： 导师签名： 日期： 摘 要 大数据时代的数据挖掘面临着新的挑战，大量以数据流形式生成的原始信息希望得到即 时准确地知识发现和提取。这些信息由于规模和时效等方面问题无法全部存入内存或外部存 储，因此无法使用传统的数据挖掘技术对其归纳分析。网络环境下普遍出现的高速数据流模 型需要一种能够在有限内存中对快速传输的数据做出实时响应的单遍扫描挖掘算法。 本文根据工程项目的应用需求，从分析传统数据挖掘和数据流挖掘的异同点着手，分析 了数据流挖掘的背景与不同应用模型下的经典挖掘算法，进而分别从基础应用、权衡指标、 抽样大小和连续属性处理等方面研究了基于 Hoeffding Trees 的决策树分类算法。最后在平稳 数据流领域，重点针对 VFDT 经典算法对连续属性处理不足的问题，从连续属性离散化的角 度提出了一种改进的 VFDTCA 算法，并采用在连续属性最佳分割点的选取上引入 Fayyad 边 界点原理的方法进行算法的优化。通过分析和验证，面对含有连续属性的平稳数据流样本， 使用基尼指数作为权衡量并引入 Fayyad 边界点原理的 VFDTCA 改进算法在构造决策树模型 和预测分类的性能上均有更好的表现。 关键词: 数据流，数据挖掘，分类，决策树，Hoeffding 边界 I ABSTRACT Data mining is facing new challenges in Big Data era. Knowledge needs to be accurately discovered and extracted from data streams generated by a growing number of raw data instantly. Due to magnitude issue and time efficiency, these raw data do not fit into the memories or external storages any more. Therefore, traditional data mining technique cannot be used to sum up data streams into diversity analyses. Widespread high-speed data stream model requires a single-pass mining algorithm which is capable of handling the fast transferring data in a limited memory with a real-time response. According to the projects needs, this thesis analyses the background of data stream mining and classical algorithms for different mining models based on the analysis of similarities between traditional data mining and data stream mining, thereby studies a series of decision tree classification algorithm based on Hoeffding Trees, separately from the underlying application, measure method, processing of co