基于Storm平台的流挖掘算法及抵抗概念漂移系统的设计与实现.docVIP

基于Storm平台的流挖掘算法及抵抗概念漂移系统的设计与实现 　　摘要：随着云计算、物联网等技术的兴起，流数据作为一种新型的大数据形态广泛存在于各个邻域。该文提出面向大数据的基于分布式计算平台Storm的流分类挖掘算法及系统，采用并行化窗口和CVFDT算法，利用分布式平台来检测数据流中是否发生概念漂移，从而自适应的改变建模样本数据的流入，提高流数据模型的准确率和效率。 　　关键字：大数据；数据挖掘；分类算法；概念漂移 　　中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2016）09-0011-03 　　Design and Implementation of Flow Mining Algorithm and Resistance Concept Drift System Based on Storm Platform 　　LU Yuan-fu， PENG Tian-ci， Ji Kai-yang， TAN Hai-yu 　　（College of Computer Science， Nanjing University of Posts and Telecommunications， Nanjing 210046， China） 　　Abstract：With the rise of cloud computing and Internet of things（LOT） technology，stream data widely exist in all fields as a new mega data form.This article propose a stream-classifying algorithm and system oriented to big data，which is based on DCP （Distributed Computing Platform）.Parallelize windows and CVFDT algorithm are both adopted.We use a DCP to test whether the mutation concept drift happened in data stream，so as to change the inflow of modeling sample data adaptively.The accuracy and efficiency of stream data model will be improved at last. 　　Key words： big data； data mining； classifying algorithm； concept drift 　　1 背景 　　随着云计算、互联网+等技术的快速发展，生产制造控制、无线通信网络、电子商务交易、金融信息监控等领域形成了高速、海量、动态的数据流，而有效的对数据流进行处理并从中挖掘有价值的信息就显得尤为重要。 　　在流数据分类挖掘中，概念漂移是指流数据特性的改变使得目标分类模型随着时间的变化而变化。针对流数据挖掘过程中的概念漂移问题，Hulten等人提出了概念自适应快速决策（Concept-adaptingVeryFastDecisionTree，CVFDT）算法[1]。CVFDT 算法是一种扩展了VFDT算法用以解决概念漂移问题的高效算法，通过在原有的算法基础上改进添加滑动窗口使得建立决策树模型的数据流能够不断实现更新，从而保证在概念漂移的数据流中模型建立的准确率。 　　本文主要讨论研究了基于分布式实时计算系统STORM平台的去概念漂移算法及系统的设计与实现，在流挖掘过程中，利用分布式平台的特点采用并行化窗口方案来检测数据流中是否发生概念漂移，并行化窗口bin-win根据数据流中的概念漂移自适应调整窗口大小，从而自适应的改变建模样本数据的流入，提高了流数据的准确性和高效性。 　　2 算法分析与实现 　　2.1 CVFDT算法 　　2.1.1 CVFDT算法的原理 　　概念自适应快速决策树（CVFDT）[2]是一种扩展了VFDT算法用以解决概念漂移问题的高效算法，具有类似VFDT的HT树生成过程，在保持了VFD的速度和精度的前提下，能够处理样本产生过程中所出现的概念漂移问题[3]。CVFDT对样本维持一个滑动窗口，并能够动态改变窗口的大小。CVFDT算法过程包括CVFDTGrow过程、ForgetExample过程、RemoveExample过程和CheckSplitValidity过程。算法主要思想是先根据当前的数据构建临时决策树，然后并不断地获取新的数据去优化已建立的决策树。若在某个时候出现