基于RCSW的数据流速度异常检测算法研究 An Algorithm for Data Stream Speed Anomaly Detection Based on RCSW.pdfVIP

第4期 电 子 学 报 vd．加No．4 2012年4月 ACrA日点Cm0NIcASINIcA Apr．∞12 基于RCSW的数据流速度异常检测算法研究 詹英1，吴春明2，王宝军1 (1．浙江交通职业技术学院，浙江杭州3ll儿2；2．浙江大学系统工程研究所，浙江杭州3100凹) 摘要： 目前许多应用领域产生数据流的流速不断地震荡，使得面向数据流的挖掘变得困难．系统采用RcsW 来完成数据流抽取，提出了实时度r、关键时点集、数据流处理率的概念，并进一步提出了数据流速度异常检测算法． 系统监控、预测数据流速，当数据流速异常减速或增速时，系统智能调节环形缓冲Ⅸ和数据流处理率来应对异常。为解 决数据流处理能力与流速、流量与有限宅问之闯的矛盾提供解决方案．实验表明数据流速度异常检测算法能够保证数 据流的挖掘持续正常实施，最大程度的满足系统的实时性要求． 关键词： 数据流；环形循环滑动窗口；关键时点；实时度r 中图分类号：1钙93 文献标识码： A 文章编号： ∞72-2112．(2012}04nr74J07 An fOrDataStre卸11 DetectionBased0nRCSW AIgonthm SpeedAnOmaIy zHAN Yingl，wu0l唧．I玎il谚，wANGBa0Ij帅1 (1．历慨h慨血矿＆帅眦吐咖。拙叫曲眦．压细3llll2。‰； 2．ml妇如矿岛唧ll打枷一rdI妇哺胛，厨嘲确抽嘶，肫嘲妇，盈咖3l∞27，‰) AI玲瞻cl： of m曲ny丘e1凼，d血m啪∞叫瑚燃t0乎咖iIltelInsge删mspeed．sc出and词妊吐∞，蚴lm虹恤 is俐，蝴嗍妇删删ctf姗础嘶．m n船ise勰蛹w t加蛐，jlI曲t0s01垤nle幽c0I咖删蜘datapfoces咖g聊惯andn洲蛐， 蛳aIld蜘倒唧唧．脚删删ts n蹦吐le∞ed0fnt sy湖nIeal一缸． 钮瓣∞mlal瓴删∞ofda扭曲嘲IlliIliI唱andweu 脚words：曲m锄；她蛐蛐培响咖(确硎)；衄poim；剃-衄T 成为一项具有挑战性的任务． 1引言 国内外对数据流抽样技术进行了广泛的研究，vit． 在现实商业活动中，流数据持续地高速地到达．单 t—IJ提出了水库抽样，随着数据流的流动，随机地从“水 位时间内的数据流量根据业务量的大小而不断地变化， 库”中抽取s个样本元素，水库抽样中所有流数据具有 流速不可预知．数据流速的震荡要求挖掘系统能够智能 相同的权值，Gibb0Ils【2 J等人提出了计数抽样方法，能够 地适应不可知的数据流速；能够实时地返回处理结果． 抽取出大概率样本．很多数据流挖掘算法采用滑动窗口 但当数据流速大于数据流处理能力时，在有限的内存空 来抽取数据，Gian蒯1日cL30等人提出在滑动窗口使用m 间完成无限的数据流的精确分析变成不可能完成的任 缸傥分别维护和挖掘数据流频繁模式的算法．李国微等 务．面对无限制随机高速流入的数据流，系统无法在有 人提出挖掘数据流任意滑动时间窗口【41内频繁模式的 限的存储空间上记录全部信息，因此现实可行的办法是 方法M哪．但上述