一种面向时间粒度的流记录聚合自适应哈希函数.PDF

一种面向时间粒度的流记录聚合自适应哈希函数 蔡少敏，丁伟，张俊 （东南大学计算机科学与工程学院，江苏 南京 210000 ） 摘要：针对NBOS 系统对NetFlow 流记录的聚合需求，基于NetFlow 流记录字段特征和网络流量的季节模 型特征，设计并实现了一种面向时间粒度的流记录聚合自适应哈希函数。通过与其他一些常用组流哈希函 数实验对比，验证了该哈希函数的均匀性、冲突率以及计算速度等性能测度都具有更好的性质，能够满足 高速网络流量测量需求。该函数的自适应性使得其可以适用于NBOS 的任何安装环境。 关键词：NetFlow; NBOS; 哈希函数; 均匀性; 冲突率; 计算速度 中图分类号：TP393 文献标识码：A An adaptive Hash algorithm for NetFlow aggregation in the perspective of time granularity CAI Shao-min, DING Wei, ZHANG Jun (Department of Computer Science and Engineering, Southeast University, Nanjing, 210000 , China) Abstract: According to the requirement of NetFlow[1] aggregation in NBOS[1] system, an adaptive Hash algorithm for NetFlow aggregation based on the data character of the NetFlow and season model character of the network traffic was designed and realized. Through comparison with other hash algorithms, it is proved to be the best algorithm in the performance of the uniformity, collision rate and calculating speed, so it can meet the needs of high-speed network traffic measurements. The adaptability of this algorithms make it possible that it can be used in any situation NBOS installs. Key words: NetFlow; NBOS; Hash function; uniformity; collision rate; calculating speed 随着互联网带宽和规模的快速增长，对其的监控和管理面临越来越大的压力和挑战。为 了能更好地了解网络运行的状况，Cisco 首先在其路由器上实现了基于抽样的流记录信息的 提供，即NetFlow 测量IP 流。基于NetFlow 信息，CERNET 华东北地区网络中心在国家支 撑计划的支持下开发了一个面向IP 集合的网络流量行为观测系统NBOS[1] 。该系统以子网 和节点作为观测对象，以时间粒度为单位，提供观测对象的QOS、流量合理性和流量热点 等有关测度。由于NetFlow 是在抽样的基础上获得的，同时还采用了15s 的短流终止间隔， 这会导致将一个原本单独的流变成了多个流记录输出。为了更好地反映网络中“流”的原始 状态，NBOS 以收到的NetFlow 数据中的流终止时间为标准，以5min 为时间粒度，对收到 的NetFlow 流记录按流规范中五元组进行聚合，在这个过程中，需要使用Hash 函数。 哈希值的随机性是基于流的抽样技术的关键，文献[2-7]分析了几种组流哈希算法，它们 也能应用于流聚合的情况。为了给NBOS 选择最合适的Hash 函数，经过反复验证，cheng 哈希函数具有最好的效果，但因其需要的计算量超过了系统的承受能力，因此，NBOS 最初 选择了一个相对简单的方案。随后我们经过努力发现了一种新的面向时间粒度的流记录聚合 收稿日期：2011-08-25; 修订日期：2011-09-28 基金项目：国家科技支撑计划资助项目(2008BAH37B04) 通讯联系