一种改进的移动小波树流异常检测方法.docxVIP

一种改进的移动小波树流异常检测方法 0 基于移动小波树数据结构的特性电压异常检测 异常检测技术在风险分析、网络监测、趋势分析、工业控制等领域越来越受到重视。数据流异常检测技术能够对系统中产生的大量随时间变化的数据即数据流进行有效的分析,并快速获取分析结果,满足实时处理的需求。较常用的异常检测方法有基于阈值的,基于统计的,基于小波的,基于随机过程模型的,基于机器学习的以及数据挖掘、人工神经 网络等检测方法。这些方法都是建立固定模型,针对固定长度的异常,设定固定阈值来进行异常检测。而实际上很多情况下,异常的长度并不固定,且在数据流高速、量大的前提之下,历史数据可能会很快过时,由此训练出的数据模型和阈值有可能会导致高误报率和漏报率。 文献给出了一种基于移动小波树数据结构的数据流异常检测方法,并提出了弹性窗口的概念。它在原有小波树数据结构中,加入了中间结点,形成了移动小波树数据结构,使得任意长度的异常都能被上层某个时间窗所包含,能够快速定位异常的位置。使用弹性窗口增加了检测的灵活性,可以检测任意滑窗长度的异常。但是它存在误报的可能,不能有效地去除颠簸数据的干扰,而且需要同时检测所有不同长度的滑窗,降低了检测效率,概要数据的更新和阈值的设定也有一定的局限性。文献和 文献建立了数据流上的分段分形模型,提出了基于直方图结构的数据流异常检测算法,以及比率阈值和单调搜索空间的概念,为数据流异常检测提供了很好的思路。文献提出了两层小波树结构与突变因子和持续因子的概念,并成功地用于网络流量突发异常检测。 本文提出了改进的移动小波树数据流异常检测方法,它在原移动小波树算法的基础上,采用比率阈值有效去除了颠簸数据,减少了误报的可能性,提高了算法检测的精确度。对所需检测的不同长度的滑窗进行二分检测,降低了检测的时间复杂度,提高了检测效率。结合实时的增量更新算法,当新数据到达时,能够及时更新对应小波层次的全部概要数据,提高了检测的效率,满足了数据流实时处理的需求。利用当前滑窗的数据设定阈值,能够更有效的检测异常,并对信号进行一定的处理,实现双边检测。 1 异常检测移动熊的方法 1.1 单独聚集函数f 在实际应用中,不同的应用领域,异常检测的对象也不同。但是它们的异常检测思想大致相同。其定义如下: 定义1 设数据流为xi(i=1,…,n),已知聚集函数F和滑窗长度wj(j=1,…,m),f(wj)是与m个滑动窗口对应的阈值。滑动窗口wj是数据流中长为wj的序列。检测数据流上的异常就是找到数据流中所有的wj,在这些wj上的聚集函数F的值大于f(wj)。 本文中的聚集主要是指单调聚集。异常的定义如式(1)所示: F(x[i,…,i+wj-1])f(wj) (1) 式中:j=1,2,…,m。 1.2 移动小波树同步控制 移动小波树算法设计了一种移动小波树数据结构并给出了相应的异常检测算法,可以检测持续时间长短不同的异常。移动小波树在原有小波树数据结构中,加入了冗余部分,使得任意长度的异常都能被上层某个时间窗所包含。该异常检测算法根据需要检测的异常持续时间的长短,对相应小波层次进行检测,若某个层次中某个窗口的值超过了事先设定的阈值,则继续搜索其对应的下层窗口,直至找到异常发生的位置。 1.2.1 相邻的小波分解层次的共享 要建立一个移动小波树概要数据结构,如图1所示。应先从最下层原始数据序列开始,计算相邻的每两个数据的和,其他小波分解层次的聚集值由其下层不重叠的概要数据求和得到。这样依次计算,直到最上层只有一个窗口为止。 构建移动小波树概要数据结构算法如下: 1.2.2 在线更新算法 移动小波树的概要更新算法有两种:在线更新算法和批更新算法。如果需要检测的窗口长度满足2′w1…wj2u,则仅对l+2层到u+1层之间的小波概要数据进行更新。在线更新算法是每到达一个新数据,更新相应层的全部概要数据,算法的复杂度高。批更新算法是根据下层聚集更新上层,不同层次进行不同周期的更新。第i+1层每隔2i个时间单位更新一次。若要检测长度为w的异常,则需要第i+1层数据更新后,才能正确检测。 1.2.3 avg、stdxfw的计算 对不同长度的滑窗数据进行聚集计算,然后按下式计算窗口大小为w的阈值: f(w)=avg(x?)+δ×std(x?)f(w)=avg(x→)+δ×std(x→)(2) 式中:x?x→为对应大小为w的窗口数据生成的聚集;avg(x?x→)及std(x?x→)分别为其均值和标准差。通过设定不同的参数δ来调整阈值的大小。在检测过程中,如果当前生成的聚集值大小超出对应层次的阈值,则为异常。 1.2.4 异常检测算法描述 在移动小波树概要数据结构的基础上进行异常检测,检测原理如下: 定理1对于单调递增的聚集,由于长度为2i的数据都包含在上层的数据中,所以任