网络流量分析中的频繁项监测技术研究Frequentitemsmaintaining.PDF

第 27 卷第 2 期 通 信 学 报 Vol.27 No.2 2006 年 2 月 Journal on Communications February 2006 网络流量分析中的频繁项监测技术研究 杜阿宁 1 ，程晓明 2 （1. 哈尔滨工业大学 计算机网络与信息安全技术研究中心, 黑龙 哈尔滨 150001; 2. 国家计算机网络应急技术处理协调中心，北京 100029 ） 摘 要：无限数据流中频繁项监测问题定义为对给定输入数据流在任意时刻输出一个当前所有输入数据项中出现 频率超过阈值的频繁数据类型及频率值的列表，它对于大规模网络流量分析具有重要意义。本文基于网络报文流 分析的应用需求，归纳出一般意义上的报文流分析模型和频繁项监测问题抽象定义，并据此对当前典型的频繁项 监测算法进行分析比较。本文还提出一种在有界存储中进行频繁项监测的高精度改进算法，实验结果表明该改进 算法满足高速网络报文流的应用需求。 关键词：信息安全；频繁项监测算法；网络报文流；无限数据流 中图分类号：TP393 文献标识码：A 文章编号：1000-436X(2006)02-0009-07 Frequent items maintaining algorithms in network traffic analysis DU A-ning, CHENG Xiao-ming (1. Research Center of Computer Network and Information Security Technology, Harbin Institute of Technology, Harbin 150001, China; 2. National Computer Network Emergency Response Technical Team/Coordination Center of China, Beijing 100029, China) Abstract: Maintaining frequent items in infinite data stream was to produce a list of items with their frequencies exceeding a threshold over a stream of current length n. It was quite useful in network traffic analyzing. After studying the demand of network analyzing systems, a packet stream analyzing model and a definition of frequent items maintaining problem was provided. An improved frequent items maintaining algorithm, which kept the deficient synopsis in limited memory was proposed based on analysis of existing algorithms. Experiments reveal that improved algorithm fulfill the need of high-speed TCP/IP packet stream. Key words: information security; frequent