NetFlow流量采集与存储技术研究实现.docVIP

NetFlow流量采集与存储技术研究实现 　　摘要:为解决高速大流量网络的流量监测与分析问题，提出了一套基于NetFlow的流量采集与存储方案，设计了多线程与双链表的NetFlow数据采集机制，有效提高了数据采集效率和可靠性。此外，在存储原始NetFlow数据的基础上，设计了一套NetFlow流量的三级聚合和存储方案。基于此方法可对纷繁复杂的原始流量信息进行有效整理，为前端静态#65380;动态流量分析提供合理高效的数据支持。 　　关键词:NetFlow; 流量采集; 双链表; 流量聚合; 时间粒度 　　中图分类号:TP393.09文献标志码:A 　　文章编号:1001－3695(2008)02－0559－03 　　 　　近年来，随着技术的发展和企业大量业务的需要，构建在网络上的应用越来越多，其复杂程度及对网络的依赖程度日益提高，各种各样的网络问题也随之产生。对于网络这样庞大的复合体，解决网络问题的关键在于问题的定位。因此，对网络流量及相关情况实施科学合理的监管和深入分析，成为网络管理的重要环节之一;同时，它也是为网络问题提供有效解决方案及进行网络规划的重要手段之一。 　　目前的网络流量分析方法主要有基于SNMP#65380;基于实时抓包分析#65380;基于网络探针和基于flow技术等几种。NetFlow是Cisco公司在1996年开发出的技术，它既是一种交换技术(NetFlow交换)，也是一种流量分析技术。其版本5是到目前为止使用最广泛的版本。基于NetFlow的流量采集方法可以获得包括源/目的主机IP#65380;应用协议类型#65380;源/目的端口等详细信息，根据这些信息就可以对TopN协议(应用)#65380;TopN主机IP(用户)以及TopN AS域等进行统计排行和趋势分析，同时也可对异常流量进行监测分析。另外，基于NetFlow的采集方法是被动式的，因而不会向被测网络增加额外的流量负荷，这也是其优点之一。 　　 　　1问题的提出 　　 　　对网络流量进行监控分析，其核心问题就是如何对采集来的数据进行归纳整理，尤其针对高速大流量网络环境所产生的海量数据。有效的数据整理是进行全面流量统计分析的基础，也是提高系统性能的手段。 　　本文针对高速大流量网络环境的数据处理进行研究。这里的高速大流量网络环境是指有100~500 Mbps左右的实际流量和几十万台活动主机的网络。本文所测试的网络环境是某部委的核心骨干网，该网络具有200 Mbps左右的实际流量，且网络中的交换设备绝大多数都是Cisco路由器，便于笔者采用基于NetFlow的方法进行流量采集。 　　高速大流量网络的特点对流量的采集#65380;数据存储组织以及分析展现都提出了较大的挑战。主要体现在以下几方面: 　　a) 高速流量，接收要及时。经实验观测，被测网络繁忙时1 h的NetFlow流条数可达百万条。由于其采用不可靠的UDP方式发送数据，采集模块若不能及时接收并处理如此巨大的数据量，必定产生丢包现象。 　　b) 原始信息复杂，需有效整理。由于NetFlow数据流所含信息比较详细，要进行细致的统计分析就需要对原始NetFlow数据流进行有效的分类整理，提取有用信息，这给数据处理和存储组织带来了一定难度。 　　c) 历史数据量巨大，查询不便。为了分析流量走势，就需要保存大量的历史数据。若使用诸如MySQL这种数据库表容量受文件大小所限的数据库作为存储数据库，就可能出现所需统计的数据分散存储在多个表中的现象，从而导致跨表查询，给操作带来不便，也降低了系统效率。 　　本文结合NetFlow的数据特点和实际应用需要，提出了一套网络流量采集和存储方案，并基于此方案实现了一个基于NetFlow的#65380;可支持高速大流量网络环境的流量分析系统。 　　 　　2流量采集与存储组织 　　 　　2.1系统概述 　　基于以上一些问题，笔者设计了如图1所示的系统结构。 　　在路由器上开启NetFlow流量采集功能后，UDP形式的NetFlow数据将被发送到本系统的NetFlow采集器中，并进行数据包的解析，提取有用信息。多级聚合处理模块负责对提取的原始信息进行分级聚合整理，形成多种适合统计分析需要的数据，再分门别类地存入数据库。分析器则根据前端不同的查询请求，依照一定的查询策略从数据库不同的表中提取相应数据进行分析展现。 　　本系统的后台采集器和聚合处理部分用C++编写实现，运行在Linux平台上，数据库采用开源的MySQL，而NetFlow流量分析利用Tomcat服务器通过Web方式展现，前台部分用JSP编写实现。本文工作的重点即在于数据采集#65380;多级聚合以及数据库表结构设计部分。 　　2. 2数据采集 　　2.2