基于堆叠集成数据流分类.docVIP

基于堆叠集成数据流分类 　　 (西北农林科技大学信息工程学院 陕西 杨凌 712100) 　　 　　摘 要：对数据流分类分析的常用方法是集成学习。为了得到更好的分类效果，给出一种基于堆叠集成的数据流分类分析方法。该方法通过构造一个分类器对基分类器进行集成。实验结果表明，与基于投票或加权投票的集成方法相比，基于堆叠集成方法对概念漂移的快速适应能力以及预测准确率得到了提高。 　　关键词：堆叠集成； 数据流分类； 概念漂移 　　中图分类号：TP301.6文献标志码：A 　　文章编号：1001-3695(2009)05-1716-03 　　 　　Classifying data streams by stacking ensemble 　　LIANG Chun??quan ZHANG Yang LIU Quan??zhong 　　(College of Information Engineering Northwest AF University Yangling Shaanxi 712100 China) 　　Abstract:Ensemble learning is a general method for classifying data streams. In order to get a better classification this paper proposed a general framework for classifying data streams by stacking ensemble. Built another classifier to combine base classifiers. Experiments show that comparing majority vote or weight vote ensemble classifiers stacking ensemble classifiers has stronger ability in adapting to concept drifting and higher accuracy. 　　Key words：stacking ensemble; classifying data streams; concept drifting 　　 　　0 引言?? 　　 　　数据流分类分析成为一个重要而又具有挑战的课题，在网络事件日志流、电话呼叫记录流、信用卡交易流、传感器数据流等多个领域中有着广泛应用。传统的分类分析工具在数据流处理分类分析中面临两个挑战，即大规模的数据量和概念漂移[1]，其中大规模的数据流数据中隐含着知识概念的变化。数据流分类分析日益成为一个研究热点[2~4]。?? 　　数据流分类分析最基本的任务是：对持续不断的数据流数据，利用有限的内存构造一个模型以获取数据流中随时间推移的趋势和模式。传统的分类分析工具反复扫描全体数据，需要耗费大量内存，对于持续不断的数据流，这些工具并不适合。?? 　　增量数据挖掘算法（incremental or online data mining）[5,6]是一种最先被提出的数据流分类分析方法。这种方法随着新数据到来不断调整训练模型，比较典型的是由Domingos等人提出的VFDT方法。VFDT构造单一模型来表示整个数据流，在概念漂移出现时预测准确率将会严重下降，这是因为数据产生规律或机制在改变，当前数据和历史数据的分布规律可能完全不同。?? 　　为了提高数据流实时分类分析的准确率和效率，有学者提出使用集成学习[7]（ensemble learning）进行数据流分类分析。文献[3]中，Street等人提出了SEA集成学习方法，SEA将数据流当前到来的一个批（batch）的数据作为训练数据，构造一个新的分类器加入到集成（ensemble）中，并通过分类准确率（accuracy）评价所有分类器，淘汰最差的分类器；预测阶段则由全体分类器投票决定。SEA的缺点是每次只淘汰一个分类器，当出现概念漂移时不能快速适应新的概念。在文献[4]中，Wang Hai??xun等人提出了加权集成分类器（weight vote ensemble classifiers WVEC）。WVEC通过对基分类器预测错误方差和随机猜测错误方差进行比较，决定分类器是否被淘汰，并给基分类器加权；预测阶段由全体基分类器加权投票决定。?? 　　以上介绍的集成学习数据流分类分析方法，最后都是通过多数投票或加权投票的办法对基本分类器进行简单集成，权值人为设定，并不能完全反映各基分类器真实权重分布，预测会有偏颇。因此本文提出采用堆叠学习（stacking lear??ning）的多分类器集成方法进行数