netflow流量数据的压缩存储与多维度聚合 the compression storage and multi-dimensional aggregation of netflow traffic data.pdfVIP

第4期 中目．毫；舛够翻宪隍譬瓤 V01．4No．4 ofCAEIT 2009年8月 Journal Aug．2009 NetFlow流量数据的压缩存储与多维度聚合 白杨，周晓洁，孙恩昌，孙艳华，张延华 (北京工业大学电子信息与控制工程学院，北京100124) 摘要：基于NetFlow技术，实现网络流量数据的采集整理、压缩存储和多维聚合。数据采集采用 全时段抽样采集，保证数据的准确和高效。针对数据的海量特点，提出了固定闽值和可变阈值两种 数据压缩方法。大大降低了数据存储量。此外，针对不同的统计分析需求，提出了数据多维度聚合 结构，涵盖了数据流中时间、协议、IP地址、端口等信息。最后应用于真实的流量数据进行统计分 析，取得良好效果。 关键词：网络流量；NetFlow；数据压缩；多维度聚合 中图分类号：TP393文献标识码：A 文章编号：1673-