基于小波分析不确定数据流异常数据检测.docVIP

基于小波分析不确定数据流异常数据检测 　　摘 要：针对数据流高速、无限连续和动态不确定性等特点，从提高不确定数据流数据管理能力的角度来解决不确定数据流中异常数据识别问题。首先采用小波分析，将连续数据流流量数据的高频与低频分量分离；其次，结合不确定数据流聚类方法找出数据中的异常点。仿真实验证明，该检测方法能够良好地适应数据流的不确定性，在一定条件下可获得相当好的检测效果。?? 　　关键词：不确定数据流；小波变换；异常检测；多分辨率分析?? 　　中图分类号：TP301 文献标识码：A 文章编号：1672-7800（2011）011-0040-03?お? 　　?? 　　0 引言?? 　　在不确定数据流(uncertain data stream)模型中，数据到达速度极快、数据规模极大，仅能够开发一次扫描算法，使用有限内存在线计算查询结果，目前不确定数据流已经成为人们的研究热点。传统异常数据检测算法不适合不确定数据流中异常数据的检测，这些算法只考虑和数据流中确定性成分相结合，并提高异常数据的检测精度，但忽略了无限连续的高速不确定数据流在有限的计算空间内如何识别的问题，使得传统方法无法检测异常数据或需要改进。本文提出一种基于小波分析的不确定数据流异常检测方法，该方法充分考虑了数据流的无限连续性和不确定性，同时在计算资源受限情况下自适应地平衡检测计算代价与检测精度。?? 　　1 不确定数据流的异常数据检测模型?? 　　1.1 不确定数据流的小波分析?? 　　本文主要研究无限连续的不确定数据流，其包含的不确定元组以数据点概率模型描述。在该模型中，元组的属性值确定，而存在性不确定，用一个之间的概率值表示。由于不确定数据流具有非线性及强绕动性，本文采用小波变换来满足自适应时变信号分析的要求，从而可聚焦到信号的任意细节以识别不确定数据流中异常数据。?? 　　定义1.1 无限连续的不确定数据流是一个由相互独立的k维不确定元组构成的序列，S(t)={(w??1(t)，p??1)，(w??2(t)，p??2)，……，(w??n(t)，p??n)}，其中w??i(t)为t时刻第i个元组的值，p??i为该元组的存在概率且0≤p??i≤1。?? 　　设时间函数S(t)∈L??2(R),引入窗口函数ψ????a,b??(t)1|a|ψ(t-ba，并定义小波变换 　　?И?W??ψf(a,b)=1|a|∫????+∞??????-∞??f(t)ψ*(t-ba)dt（1）?И? 　　其中，a∈R且a≠0；a为尺度因子，表示与频率相关的伸缩，b为时间平移因子，当a??0=2，b??0=1时，式（1）为S(t)的二进小波变换。?? 　　设S??N（N为分解尺度）表示小波分解中低频信息s??N，E??N表示小波分解中高频信息e??j（j=1,2,…,N），由于S??N??E??N=S????N-1??,即高频分量是低频分量中的正交补，显然多分辨分析的子空间S??0可表示为： 　　?И?S??0??S??1??E??1=S??2??E??2?荨??莳? 　　S??N??E??N??E????N-1???荨???E??1（2）?И? 　　令s??N∈S??N表示分辨率为2??N的时间函数S(t) ∈L??2(R)的无限逼近，e??j∈E??j表示逼近的误差，则式（2）可表示为： 　　?И?S??0+S??1+e??1=s??2+e??2+…+?? 　　S??N+E??N+E????N-1??+…+e??1=S??N+∑??N????i=1??e??i（3）?И? 　　由s(t)=s??0,式（3）表明任何时间序列S(t) ∈L??2(R)都可根据相应的低频分量和高频分量完全重构。?? 　　1.2 异常数据检测模型?? 　　小波变换后将包含异常数据的不确定数据流分别分解成包含异常数据的高频信息和低频信息，可采用如下方法识别异常数据。?? 　　定义1.2 定长时间窗口内的时间序列不确定数据流可描述为2k+3维向量（UP??1, UP??2,n，p??s，t??L），其中UP??1为各元组的概率加权线性和，包含k项，第m项的值为UP??m??1＝∑??n????i=1??o??iw??m??i，；UP??2为各元组的概率加权平方和，包含k项，第m项的值为UP??m??2=∑??n????i=1??p??i(w??m??i)??2,n为时间段L内包含的元组个数；p??s为所有元组的概率和，其值为p??s=∑??n????i=1??p??i；t??L为滑动时间窗的时间长度。?? 　　目前对于确定数据流异常数据在定长时间窗口中的判别可基于欧几里得或者曼哈顿距离度量来决定聚类。基于这样的距离度量的算法对于元组的不确定性十分敏感，这种不确定