城域网流量采集系统解耦化研究及应用.pdfVIP

城域网流量采集系统解耦化

ofTrafficCollectionSysteminMAN研究及应用

推进，城域网流量年增长率达到30%，流量采集系统的

1概述

建设成本越来越高，而运营商却无直接的经济收益。

城域网流量采集系统是国内外各大运营商数据广东联通现有的流量采集系统由国外专用软硬一体

网流量采集的主要系统，它可实现全网流量采集、流化设备件实现，其设备能力已远远达不到考核要求。

量流向分析、异常流量检测和告警等功能。根据工信基于此需求，本文提出一种软硬件解耦解决方

部要求，此系统必须建设，且随着城域网流量的增加，案，采用X86通用服务器与纯软件方式结合，实现城域

必须进行同步扩容。网FLOW流量数据采集，并通过大数据平台实现各类

目前全国大部分运营商的流量采集系统是由国应用分析。在原有功能基础上，结合DNS日志，扩展

外专用软硬一体化设备实现，设备供应商少、可选择实现CDN流量流向分析。该方案中的存储及分析平

范围小、价格昂贵且维护力量薄弱。随着宽带战略的台利用大数据技术有效解决系统性能及功能的可扩

——————————展性问题，大大降低流量采集系统的建设成本。随着

收稿日期：2019-06-29业务需求的增长，通过增加通用服务器即可实现性能

822019/09/DTPT

的平滑扩充，通过增加软件模块即可实现功能的灵活

分析服务器

扩展。NETFLOW流记录

SNMP

2基于软硬件解耦的城域网流量采集系统流量采集服务器IBGPSESSION

DNS

2.1系统架构日志SYSLOG

软硬件解耦流量采集系统使用X86通用服务器及流量清洗系统DNS解析日志

LINUX操作系统，采用纯软件方式实现对城域网

FLOW流量数据的高性能采集，同时可实现对DNS、城域网1城域网2城域网3城域网n

BGP、SNMP等其他数据源的数据采集。经过论证分

广东联通省网/城域网

析及测试，广东联通采用的系统总体架构如图1所示，

数据采集完成后，通过HADOOP大数据平台进行存储

图2广东联通流量采集系统部署方案

及多维度分析，然后通过数据处理平台进行融合分析

后，实现对应用功能的高度支撑。署流量采集软件，替代传统的软硬一体化设备，以实

现城域网流量数据的高性能采集。

应用应用分析流量流向接口流量异常流量其他应用采集流程如图3所示，城域网设备在转发数据流

功能的同时，根据设备的配置，实现对数据流的采样、统

FLOW流量区域快速