高速网络流量统计系统的设计与实现.pdfVIP

高速网络流量统计系统的设计与实现 李力 北京邮电大学计算机科学与技术学院，北京(100876) E-mail: lleelm@ 摘 要：本文针对流量统计在高速网络中所面临的一系列问题，基于NetFlow 技术，并采用 了一种资源受限的抽样算法，构建了一个在高速网络下的NetFlow 流量监控系统。并在真实 的网络环境中进行了实验，验证了系统的可行性。 关键词：NetFlow ，抽样算法，网络测量 1．引言 随着IP 网络的普及和壮大，IP 业务得到了迅速的发展。然而，由于IP 协议固有的无连 接特性和“尽力而为”的服务原则，使得当前基于IP 的互联网无法向用户提供有效的服务质 量（QoS ），也不能实现网络资源的有效监控和管理。所以，IP 业务就非常需要对整个网络 进行监测，得到网络性能和服务质量参数，从而合理规划网络，为 IP 语音服务提供服务质 量保障。 IP 流量的监控与统计在维护整个IP 网络中起着重要的作用。通过对全网的数据流的分 析，网络管理人员能更好地对全网实行网络规划与分析、故障维护、网络流量均衡。现今比 较成熟的流量监控的商务应用技术主要有 NetFlow 等[1] 。参考文献[1]对这个问题进行了说 明。 然而，由于网络的传输速度越来越快，网络的规模越来越大，对网络流量的海量数据存 储和后期数据分析提出了极高的要求。早期的网络流量统计系统越来越不能满足现有高速网 络流量统计系统的要求。早期的统计系统主要是针对比较低速的网络，对网络数据的存储和 后期分析的需求都比较简单。但是由于网络速度的飞速增长，这种需求发生了巨大的变化。 现在对网络流量统计系统的要求是：能够快速的存取网络的流量信息并能将数据存储起 来，在需要的时候能迅速存海量数据中将所需的数据提取出来，进行后期分析。本文介绍了 采用NetFlow 技术，并结合了一种资源受限的抽样算法，很好的解决了高速网络对于网络流 量分析的需求，并在真是网络环境下，进行了测试，验证了系统的有效性。 2 ．NetFlow 协议简介 [2] NetFlow 协议是由 Cisco 公司提出的一项网络数据流统计标准 ，并得到了众多主流厂 商的支持。NetFlow 设备把采集到的网络流量信息数据按照流记录(flow record)放到缓存中， 由网络设备在一定条件下发送到指定服务器。丰富的NetFlow 流量信息可以帮助网络管理人 员进行网络规划、网络管理、流量计费和病毒检测等。 2.1 流的定义 流是在 T 时间段内具有某种相同属性的分组的集合。从观测的角度看，所有同属于一 个特定流记录的分组具有一些共同属性，这些特性是由分组中所包含的数据信息和对这些分 组的处理方式来决定的。 NetFlow 中定义的流一般是按五元组：源IP 、目地IP 、源端口号、目地端口号和传输协 议，这5 个属性对报文进行汇聚统计。流记录的数量随着网络速度、性能的增加而迅速增加。 -1- 对于一条流，我们主要关心的是所包含的总字节数、流的持续时间、流所包含的总分组 数。其中最关心字节数。一般来讲，我们的网络监控主要是分析大流对网络造成的影响；对 于小流，由于它们的字节数很小，对网络造成的影响可以忽略不计。 2.2 NetFlow 的协议格式 NetFlow 协议目前包括1、5、7、8、9 等几个版本，V5 和V9 的格式入图1 和图2 所示。 版本之间差异主要表现在对流采用的汇聚方法不同。 NetFlow V9是一种全新的灵活和可扩展的NetFlow数据输出格式，采用了基于模板 （Template ）的统计数据输出。在V5和V9版本中，均有一个包头（packet header ），里面记 录了版本、包含的数据个数等信息。在包头之后，V5 的版本是一系列定长的数据记录（