基于概念漂移检测的网络数据流分类.docxVIP

基于概念漂移检测的网络数据流分类 摘要：互联网环境日新月异，使得网络数据流中存在概念漂移，对数据流的分类也由传统的静态分类变为动态分类，而如何对概念漂移进行检测是动态分类的关键。本文提出一种基于概念漂移检测的网络数据流自适应分类算法，通过比较滑动窗口中数据与历史数据的分布差异来检测概念漂移，然后将窗口中数据过采样来减少样本间的不均衡性，最后将处理后的数据集输入到OS-ELM分类器中进行在线学习，从而更新分类器使其应对数据流中的概念漂移。本文在MOA实验平台中使用合成数据集和真实数据集对提出的算法进行验证，结果表明，该算法较集成学习算法在分类准确率和稳定性上有一定的提升，并且随着数据流量的增加，时间性能上的优势开始体现，适合复杂多变的网络环境。 0 引言近些年，互联网的迅速发展使得活跃在网络上的用户不断增加，不断增长的数据量为网络数据流挖掘带来了困难和挑战目前，针对存在概念漂移的数据流分类问题，很多学者提出了不同的方案。由于数据流的概念漂移随时可能发生，需要及时更新分类器来适应新的概念。分类器适应数据流的漂移一般分为2种方式由上可知，被动更新比较消极，虽然能及时应对漂移，但是新概念的出现频率较低，频繁的模型更新会浪费大量计算资源，而主动更新在检测到概念漂移时才去更新分类模型，不会浪费计算资源。主动更新关心的有2点，一是如何进行漂移检测，二是在检测到概念漂移后如何更新分类模型。对于数据流的漂移检测，文献对于分类模型的更新，文献综上所述，相关研究人员对数据流概念漂移检测及漂移数据流的分类进行了探究，但是仍存在一些不足，主要表现在如下3点:1)在概念漂移检测时，使用滑动窗口来接收数据流，往往只关注相邻窗口间的数据分布，而网络数据流中存在多种数据分布，只对比相邻窗口间的数据流而不是所有的历史数据，容易造成漂移的误检和漏检。2)含有漂移的新训练数据与历史数据间存在样本不均衡问题时，直接对其进行训练可能会导致更新后的分类器不能有效识别出新的概念，降低分类器的分类性能。3)在漂移数据流的分类算法中，通过集成学习得到的新分类模型往往过度关注新的数据，忽略了对旧数据的检测精度，而且基分类器的分类性能作为是否被替换的关键，需要耗费一定的计算资源去关注每个基分类器，对实时数据流检测是一个大的挑战。针对以上问题，本文提出一种基于概念漂移检测的网络数据流自适应分类算法。该算法用双重交叉窗口接收新的数据，度量当前数据与历史数据间的分布差异，当差异大于漂移阈值时，认为概念漂移发生;然后对窗口中的数据进行处理，得到漂移数据，对漂移数据扩容后进行处理;最后输入分类器进行在线学习，更新分类模型。1 概念漂移检测算法本章以传统网络数据流作为研究对象，提出一种基于历史数据分布的双重交叉窗口概念漂移检测算法(DCW＿CDD)。该算法使用2个交叉滑动窗口接收网络数据流，并度量窗口中数据流与历史数据之间的分布差异，考虑到网络数据流中可能存在的噪声影响，应设置合理的阈值来判断此种差异是否达到了概念漂移的水平。与文献DCW＿CDD算法进行概念漂移检测的步骤如下:Step1将训练分类模型的历史数据集表示为Step2将滑动窗口W1中的数据块用Cn其中，Step3为了应对数据流中存在的噪声影响，本文通过比较数据分布之间的差异来设置警告阈值Warning和漂移阈值Drifting，排除因为噪声而引起的数据分布变化。对Step2中CDis1)得到Cd2)若3)若4)若5)计算发生漂移的簇占总簇的百分比p＿of＿d。Step4当W1中检测到漂移，则对W2中的数据块执行Step2和Step3的过程，判断W2是否检测到漂移，在W1发生漂移的前提下，通过W2中的漂移发生与否，使用下面的判别方式判断漂移发生的区域。1)若W1中未发生漂移，则漂移出现在图1的区域A。2)若W2中发生漂移，则漂移在区域B中一定出现，而通过观察Step2中p＿of＿d的大小来判断在区域C中出现漂移的可能性。通过判断出漂移发生的区域来获取更新分类器的数据块DBStep5若W1中未发生漂移，则同时移动2个窗口，继续接收新的数据，重复Step2。Step6数据流概念漂移检测结束，发送漂移信号Drift＿signal和漂移数据块DB由以上步骤可知，算法主要的时间消耗是在对样本的聚类上。假设数据的样本数为N，则在最坏情况下，对样本聚类的时间为O(N2 数据流自适应分类算法网络数据流分类的关键在于分类器的各项性能参数能否应对网络数据流实时、大量和概念漂移等特性，为了不影响数据流分类的实时性，分类器不仅要求训练速度快还需要具有在线学习的能力。在线序列极限学习机(OS-ELM)是一种单隐层