基于sFlow的高速网络流量实时监测系统的研究.pdfVIP

基于sFlow的高速网络流量实时监测系统的研究 崔涛，齐法制，王彦明．刘宝旭 中国科学院高能物理研究所计算中心北京100049 摘要： 本文探讨一种高速网络的流量实时监测系统。该系统以sFlow技术为基础，通过构建适 合的流量信息存储模型以及采用口地址匹配算法、多进程处理等技术，来实现对高速网络 的实时监控。 关键词：show,实时监测，口地址匹配，多进程 引言 随着高速网络的普及和应用的发展，网络监测和管理手段的滞后日趋明显。以往适合千 兆网络的监测设备和软件无法适应高吞吐量、高带宽的网络环境。管理人员缺乏必要的手段 对高速网络进行监控。高能物理所的网络是集校园办公、高能物理计算、海量数据传输、存 储等功能于一体的万兆网络。网络中的数据流特征是应用复杂、流量很大、持续时间长．如 何在这样的网络环境下对全网范围进行实时的流量监测，一直是我所网络管理中的难题。 根据我所的实际情况，为解决高速网络全网流量的实时监测的难题，本文提出一种基于 sFlow技术框架结构的监测系统，并在文中讨论了快速接收并处理网络监视数据的技术．影 响系统实时性的因素及提高性能的措施等系统关键问题。该系统能够为管理员及时了解网络 运行情况提供必要的手段． 一、网络流量监测技术分析 常用的流量监测技术主要有如下几种…：基于网卡混杂模式的抓包；基于交换设备中 SNMP的流量统计：基于流的采样技术netflow、sFlow：基于硬件的包采集。其中，基于流 的技术通过全采样或者抽样采集数据包，能够较好的适应高速网络环境，而且费用不高，因 而成为当前监测技术的主流。Netflow是CISCO公司的技术标准，技术成熟，应用广泛。sFlow Task 技术是ErF(1．nteraet Force)最新的网络导出协议。目前支持该协议的厂商 Engineering 还不算多。由于高能所主干交换机支持sFlow协议，所以我们选择了sFloW。 sFlow(RFC 3176)【21是一种基于数据抽样的网络监控技术。sFlow系统由Agent、控制 Agent的sFlow 中。它根据抽样策略采集满足条件的数据包，然后将sFlow格式信息、各包统计信息以及每 理。这种机制使其对交换设备资源的消耗很小。使其能够以较轻的代价实现对高速网络环境 进行全面的数据抽样。sFlowCollector是负责接收和分析抽样数据包的软件。该软件使用 UDP协议与Agent通讯。根据上面对sFlow技术的介绍，基于sFlow构建流量监测系统， 实际的工作是设计和开发高效的Collector软件。sFlow的抽样机制很适合高速网络环境的持 续性、大范围的流量监视。其结构也很简单，适合单位自行开发监测系统。 二、系统框架结构 对高速网络实施全网范围的流量实时监视．需要解决全网数据采集、P包信息的快速 存储、处理等问题．在本文所设计的系统中，全网数据采集的功能由sFlow Agent实现，P 包信息的快速存储及处理问题由软件解决。为保证软件能够快速接收和处理数据，系统设计 841 以sFlow框架为基础，将sFlow Collector扩展为三个以共享内存为纽带的独立进程 agent发送的UDP 抽样数据包．并将接收到的数据以田地址为索引存储在内存中。pProcessor进程负责计算各 田地址的网络动态参数及系统需要的其他动态参数。pAnalyser进程负责分析数据，并将可 疑流量与已知的异常特征进行数据对比，根据阀值报警。三个进程通过共享内存的方式实现 数据共享。这样既不影响采集数据的接收速度，又能快速处理数据。按照上面的说明，本文 给出如下的系统结构图： 三、重点问题讨论 1．监视规模和采样率对系统的影响 在Collector软件的设计中，监视系统的监视规模决定了系统的准确程度和实时程度。 监视规模越大，系统需要处理的包也会越多，处理时间就越长．而系统的处理能力受软硬件 的限制，一旦丢包就会影响数据的正确性