骨干网流量采集、汇聚和分流关键技术.pdfVIP

骨干网流量采集、汇聚与分流关键技术 1 应用背景 骨干网流量采集主要应用于政府网络管理、运行商广告推送、运行商计费取证服务、运 行商信令监控服务、园区网审计、公安网监、大数据分析等应用领域。 我们在骨干网流量采集领域，经常会遇到采集、负载均衡、分流、汇聚等各种术语，这 些术语之间是什么关系呢？ 所谓流量采集，就是将网络流量通过物理层、数据链路层的信号解析和解帧，实现 IP 原始报文的获取。由于以通用CPU 为核心的传统分析平台的处理能力总是有限的，所以一 定方式的过滤 （或称为流量衰减），不仅可以降低后端服务器的负载，而且可以降低整个系 统的功耗和成本。另外，要实现流量采集，必须实现链路层的转换，如对POS 、WAN 进行 转换，或者高速率链路如40G POS 到 10GE 的转换，100GE 到 10GE 的转换。采集之后的 输出有通过以太网报文输出（如PET320 采集设备）或者PCI 总线直接到服务器内存（如智 能网卡PCAP2 ）两种。 2 用户需求 （1） 如何实现高密度，低功耗的采集设备：在选择厂家时要特别注意其设备的密度，交 换容量、输入接口密度，输出接口密度，输入输出是否能够复用等。通常情况下， 高密度的设备其单位流量的平均功耗要小，而非ATCA 独立设备比ATCA 设备功耗 要小。 （2 ） 如何降低用户成本：输入输出接口复用是降低成本的有效方式，如一个万兆接口， 如果其输入接口可以为WAN ，而输出接口可以是10GE，则可以有效降低用户的成 本。用户接口是否可以更换，平台是否能够平滑升级也是要考虑的问题。另外，非 ATCA 独立设备一般比ATCA 设备价格更便宜。 （3 ） 如何支持不同的链路：使用统一的过滤、分流、输出平台，但是输入接口能够更换 是性价比较高的多链路解决方法。在一个平台上能够同时支持 100G 以太网、40G POS、10G POS、10G WAN 和10G LAN 是一种比较好的选择，但是由于过滤功能 需要按照最大性能设计，在某些场合可能会增加用户的成本。因此，在接口支持能 力和代价之间要进行综合考虑。 （4 ） 分流均衡性：Hash 算法的选择是分流均衡性的关键，例如，CRC32 比CRC16 的均 衡性要好，而CRC16 又比异或的均衡性要好。好的均衡性依赖于采集设备的智能， 当存在巨流时，要能够自动将同一个MAC 上新产生的流量调整到其他的服务器。 另外，当后端分析服务器出现故障时，要能够自动切换。 3 关键技术 3.1 100G 成帧关键技术 MLD （Multi-Lane Distribution ）模块将数据分发到20 个虚拟的Lane 上。实现了CGMII （100G 介质介质独立接口）。当前没有一种媒体（光纤或电信号）能够单流直接传输100Gb/s 以太网信号，2010 年 IEEE802.3ba 标准正式发布，在光传输接口上针对不同传输距离定义 了100GBASE-SR10、100GBASE-LR4 和 100GBASE-ER4 三种接口规范。100GBASE-SR10 采用 10 对 OM3 MMF/OM4 MMF 光纤，每路光纤传输速率为 10Gb/s，传输距离分别是 100m/150m，100GBASE-LR4 和 100GBASE-ER4 都采用 SMF，采用LAN WDM 技术用4 个不同波长的光来传输，每个波长传输25Gb/s 数据，传输距离分别是10km 和40km 。 同样的电气接口也采用并行Lane 来传输数据，IEEE802.3ba 标准定义的CAUI 接口，使 用10 Lane 电气接口，每个Lane 传输 10Gb/s 数据。为了有效利用10 Lane 来传输100GE 数 据必须解决多通道的数据封装映射、对齐等问题，这是本成果中解决的关键技术， IEEE802.3ba 标准中这个功能是在PCS 中实现的。 戎腾网络的解决方案是：光接口采用的是商用的 100GE CFP 或者CFP2 光模块，实现 100GE 光信号到 CAUI 电接口的转换，通过使用不同光模块可以支持 100GBASE-SR10、 100GBASE-LR4 和100GBASE-ER4 等应用场合，光模块输出的