城域网流量采集系统解耦化研究及应用.docxVIP

城域网流量采集系统解耦化

ofTrafficCollectionSysteminMAN

研究及应用

1概述

城域网流量采集系统是国内外各大运营商数据网流量采集的主要系统，它可实现全网流量采集、流量流向分析、异常流量检测和告警等功能。根据工信部要求，此系统必须建设，且随着城域网流量的增加，必须进行同步扩容。

目前全国大部分运营商的流量采集系统是由国外专用软硬一体化设备实现，设备供应商少、可选择范围小、价格昂贵且维护力量薄弱。随着宽带战略的

——————————

收稿日期：2019-06-29

推进，城域网流量年增长率达到30%，流量采集系统的建设成本越来越高，而运营商却无直接的经济收益。广东联通现有的流量采集系统由国外专用软硬一体化设备件实现，其设备能力已远远达不到考核要求。

基于此需求，本文提出一种软硬件解耦解决方案，采用X86通用服务器与纯软件方式结合，实现城域网FLOW流量数据采集，并通过大数据平台实现各类应用分析。在原有功能基础上，结合DNS日志，扩展实现CDN流量流向分析。该方案中的存储及分析平台利用大数据技术有效解决系统性能及功能的可扩展性问题，大大降低流量采集系统的建设成本。随着业务需求的增长，通过增加通用服务器即可实现性能

82 2019/09/DTPT

的平滑扩充，通过增加软件模块即可实现功能的灵活扩展。

2基于软硬件解耦的城域网流量采集系统

2.1系统架构

软硬件解耦流量采集系统使用X86通用服务器及

LINUX操作系统，采用纯软件方式实现对城域网

分析服务器

流量采集服务器

DNS

日志

流量清洗系统

NETFLOW流记录

SNMP

IBGPSESSION

SYSLOG

DNS解析日志

FLOW流量数据的高性能采集，同时可实现对DNS、

城域网1

城域网2

城域网3

城域网n

BGP、SNMP等其他数据源的数据采集。经过论证分

析及测试，广东联通采用的系统总体架构如图1所示，数据采集完成后，通过HADOOP大数据平台进行存储及多维度分析，然后通过数据处理平台进行融合分析后，实现对应用功能的高度支撑。

广东联通省网/城域网

图2广东联通流量采集系统部署方案

署流量采集软件，替代传统的软硬一体化设备，以实现城域网流量数据的高性能采集。

FLOW流量数据分

FLOW流量数据分析

融合数据分析

DNS日志数据分析

异常流量实时检测

路由数据精确分析

数据处理

数据

流量流向

接口流量

异常流量

区域快速

区域快速匹配

路由去重算法

数据排序

异常流量规则

数据分析引擎

采集流程如图3所示，城域网设备在转发数据流的同时，根据设备的配置，实现对数据流的采样、统计，生成FLOW流量日志，并通过通信协议将FLOW流量日志发送至流量采集系统；根据城域网设备厂商及配置的不同，FLOW日志传送协议分为NETFLOWV5、NETFLOWV9、NETSTREAM、CFLOW/JFLOW；流量采

集软件完成协议适配、FLOW日志字段解析并生成文本文件传送至大数据平台，由大数据平台完成后续的

平台

数据

采集 NETFLOW

大数据存储及实时分析平台

SNMP BGP FTP接口

应用分析。

X86服务器

+采集软件

数据源

路由器

FLOW

设备MIB

BGP

路由表

DNS解

析日志 其他数据

协议适配 大数

2.2部署方案

图1系统总体架构图

V9 据

模板计算 分析

字段解析 平台

广东联通城域网流量采集系统部署方案如图2所

示，分为流量采集服务器与数据分析服务器2部分，其中流量采集服务器主要负责采集数据，数据分析服务器主要负责分析数据并将结果呈现出来。

目前广东联通的数据采集接口包括FLOW流量数据采集接口、SNMP管理信息采集接口、BGP路由信息采集接口、DNS解析日志采集接口，也可根据业务需求开通与号线、IDC用户的数据采集接口。

3流量采集实现技术手段

3.1软硬件解耦

在X86通用服务器+LINUX操作系统的平台上部

路由器NE

路由器

NETFLOWV5

流量转发

NETFLOWV9

流量采样

NETSTREAM

FLOW

CFLOW/JFLOW

日志生成

FLOW

日志输出

图3城域网FLOW流量采集方案

3.2