流量分析新贵-NetFlow.docVIP

流量分析新贵 :NetFlow 2006 年 09 月 29 日 15：54 来源：厂商稿件 作者 : 东软 : 姚伟栋 字 号：小 | 大 【文章摘要】 IP 网络承载能力与所提供的应用业务规模向来都是相辅相成的， 一 方面 IP 网络的建设将给新应用技术的推广提供有效的实施平台，另一方面应用业务也会随着自身系统发展需要而对现有 IP 网络提出更高的资源需求，从而推 动 IP 网络基础建设进入新的建设周期。 流量分析新贵 :NetFlow IP 网络承载能力与所提供的应用业务规模向来都是相辅相成的， 一方面 IP 网络的建设将给新应用技术 的推广提供有效的实施平台， 另一方面应用业务也会随着自身系统发展需要而对现有 IP 网络提出更高的资 源需求，从而推动 IP 网络基础建设进入新的建设周期。在这种类似于 “鸡生蛋、蛋生鸡 ”的逻辑悖论中，另 外一个问题却是毋庸置疑的凸现了出来，那就是如何把应用业务与其所占用的 IP 资源 (如带宽 )清晰、准确 的对应起来，如何保证有限的 IP 资源能够被合理应用的到主要利润业务中。 NetFlow 为代表的 Flow 技术正是为响应这种挑战而出现的新型解决途径。 什么是 Flow 在最开始， Flow 是网络设备厂商为了在网元设备内部提高路由转发速度而引入的一个技术概念，其本 意是将 高 CPU 消耗的路由表软件查询匹配作业部分转移到硬件实现的快速转发模块上 (如 Cisco 的 CEF模 式)。在这种功能模式中，数据包将通过几个给定的特征定义归并到特定的集合中，这个集合就是 Flow。每 个 Flow 的第一个数据包除了促使该 Flow 记录的产生以外，还要驱动网元三层模块完成路由查询并将查询 结果同期放入 Flow 记录中，而该 Flow 集合的后续数据包将直接在 Flow 的已有记录中获得路由转发信息， 从而提高了网元设备的路由转发效率。 作为网元设备内部路由机制优化的副产物， Flow 记录能够提供传统 SNMP MIB 无法比拟的丰富信息， 因此 Flow 数据被广泛用于高端网络流量测量技术的支撑， 以提供网络监控、 流量图式分析、 应用业务定位、 网络规划、快速排错、安全分析 (如 DDOS)、域间记帐等数据挖掘功能。 相对于会话 ( “Session而”)言， “Flow”备更细致的标识特征，具 在传统的 TCP/IP五元组的基础上增加了一 些新的域值，至少包括以下几个字段： -源 IP 地址 -目的 IP 地址 -源端口 -目的端口 -IP 层协议类型 -ToS 服务类型 -输入物理端口 以上七个字段可以唯一地确定任意一个数据包属于哪个特定的异都意味着一个新 Flow 的发生。  Flow，换而言之任何一个字段出现了差 在实际软件实现中， Flow 所包含的字段定义及数量将会随着厂商甚至协议版本的不同而出现变化 ( 如包 含 AS 信息、 Next_Hop 等 )，业界因此也相应地出现了各种不同的实现版本。而在这些不同的 Flow 版本中， NetFlow 得益于 Cisco 公司在网络设备行业内无与伦比的领袖地位而获得最大范围的认同。 有多少种 Flow Flow 的版本差异通常直观的表现在其输出报文格式上。目前业内常见的主流 Flow 格式大致有以下几 种： 随着 IETF对 IPFIX的标准化， 网络流量分析的数据采集协议也将也将逐步转移到上来。因此，下文将以 NetFlow V9 为例介绍 Flow 的详细内容。  NetFlow V9/IPFIX  标准 NetFlow 的运行机制 NetFlow 的运行可分解为以下几个关键功能单元，包括： Cache 缓存空间 NetFlow Cache 是所有活跃 Flow 统计信息的存储位置， 所有具备相同关键字段的数据包都将在该 Cache 相应表项中进行数据累计，如数据包数量、字节数等。 除了被称之为 Main Cache 的上述缓存之外，部分支持 Aggregation 机制的网元设备还需提供相应的聚合缓存 (Aggregation Cache)，最终的输出报文将包含该聚合缓存的汇总结果，从而能够有效降低 NetFlow 流量对网络带宽的占用； 可配置的 Cache 维护机制 一般情况下 Session 时， Flow  Cache 空间的占用是与所监控的 Flow 数量呈正比的，但是当链路中充斥着大量的短连接 表项数量可能会因为没有得到及时释放而过多占用有限的 Cache空间。为此， NetFlow  提 供了一种非常复杂、高效的算法以快速定位一个数据包在该 Cache 中的位置或判断是否应新建表项，并且 通过管理员给定的阀值进行各类表项的超时导出，从而及时释放老的表项以容纳新建 Flow 信息