工程师流挖掘算法及抵抗概念漂移系统的设计（含目录）.docVIP

工程师流挖掘算法及抵抗概念漂移系统的设计（含目录） 目录 TOC \o 1-9 \h \z \u 目录 1 正文 1 文1：工程师论文范文流挖掘算法及抵抗概念漂移系统的设计 1 1 背景 2 2 算法分析与实现 3 3 系统实现 4 4结束语 5 文2：网页结构挖掘算法研究论文 5 1数据挖掘 6 2结构挖掘 6 3Web结构挖掘的算法 7 参考文摘引言： 10 原创性声明（模板） 11 文章致谢（模板） 12 正文 工程师流挖掘算法及抵抗概念漂移系统的设计（含目录） 文1：工程师论文范文流挖掘算法及抵抗概念漂移系统的设计 Design and Implementation of Flow Mining Algorithm and Resistance Concept Drift System Based on Storm Platform LU Yuan-fu， PENG Tian-ci， Ji Kai-yang， TAN Hai-yu (College of Computer Science， Nanjing Univeity of Posts and Telecommunicatio， Nanjing 210046， China) Abstract：With the rise of cloud computing and Internet of things(LOT) technology，stream data widely exist in all fields as a new mega data article propose a stream-classifying algorithm and system oriented to big data，which is based on DCP (Distributed Computing Platform).Parallelize windows and CVFDT algorithm are both use a DCP to test whether the mutation concept drift happened in data stream，so as to change the inflow of modeling sample data accuracy and efficiency of stream data model will be improved at last。 Key words： big data; data mining; classifying algorithm; concept drift 1 背景 在流数据分类挖掘中，概念漂移是指流数据特性的改变使得目标分类模型随着时间的变化而变化。针对流数据挖掘过程中的概念漂移问题，Hulten等人提出了概念自适应快速决策(Concept-adaptingVeryFastDecisionTree，CVFDT)算法[1]。CVFDT 算法是一种扩展了VFDT算法用以解决概念漂移问题的高效算法，通过在原有的算法基础上改进添加滑动窗口使得建立决策树模型的数据流能够不断实现更新，从而保证在概念漂移的数据流中模型建立的准确率。 本文主要讨论研究了基于分布式实时计算系统STORM平台的去概念漂移算法及系统的设计与实现，在流挖掘过程中，利用分布式平台的特点采用并行化窗口方案来检测数据流中是否发生概念漂移，并行化窗口bin-win根据数据流中的概念漂移自适应调整窗口大小，从而自适应的改变建模样本数据的流入，提高了流数据的准确性和高效性。 2 算法分析与实现 CVFDT算法 CVFDT算法的原理 概念自适应快速决策树(CVFDT)[2]是一种扩展了VFDT算法用以解决概念漂移问题的高效算法，具有类似VFDT的HT树生成过程，在保持了VFD的速度和精度的前提下，能够处理样本产生过程中所出现的概念漂移问题[3]。CVFDT对样本维持一个滑动窗口，并能够动态改变窗口的大小。CVFDT算法过程包括CVFDTGrow过程、ForgetExample过程、RemoveExample过程和CheckSplitValidity过程。算法主要思想是先根据当前的数据构建临时决策树，然后并不断地获取新的数据去优化已建立的决策树。若在某个时候出现了概念漂移，则算法会在出现漂移的节点上建立一个新的替代子树。当替代子树的分类效果优于当前的决策子树时，就直接取而代之。 CVFDT算法抵抗概念漂移问题 概念漂移表示目标变量的统计特性随着时间的推移以不可预见的方式变化的现象[4]。在流数据分类挖掘中，也指流数据特性的改变使得目标分类模型随着时间的