生成netflow格式的数据流记录nProbe数据存储二进制文件模式按照.PPTVIP

高能所网络流量分析系统设计与实现 齐法制 [Fazhi.Qi@ihep.ac.cn] 曾 珊 [zengshan@ihep.ac.cn] SCE2011@ChengDu,2011.7.6 背景 关键技术简介 系统设计与实现 系统系统部署情况 系统展望 背 景 技术的发展，应用的需求驱动 网络规模扩大 高速网络（10Gbps） 网络管理/运维和规划 What ：应用？ 异常流量？ Who ：谁用的？主要用户有哪些？ Where：流量从哪来？到哪里去？ 目标 网络流量可视性 应用可视性 用户可视性 关键技术介绍 网络流量信息标准 netflow CISCO公司，1996年发明 设计目的 网络交换设备对数据交换进行加速 对高速转发的IP数据流(Flow)进行测量和统计 原理 七个字段来唯一的标识一个流 源IP地址、目的IP地址、协议类型、源端口、目的端口、服务类型、进入接口号 sflow 由 InMon 公司开创 “统计采样技术” 纯数据包采样技术 基于样本 网络流量信息获取技术 Netflow/sflow输出 Mirror 系统设计与实现 --总体结构及其模块划分 数据捕获模块 实现对网络通讯数据的采集 数据流转换模块 将采集到的数据进行初步分析，并根据数据包头信息，将数据转换成netflow格式的数据流 满足部分不支持netflow协议的网络设备而开发的 数据流存储模块 将netflow数据流按照一定的格式和模式进行存储，并作为数据分析模块的源数据 数据分析模块 根据设定规则，实现对netflow数据的分析 结果展现模块 用户界面 web展示，提供按时间段以及IP段的查询和自动图表生成工作 系统设计与实现 --核心模块实现 数据捕获模块 不支持netflow 端口镜像 降低了netflow对网络设备性能影响 数据流转换模块 侦听数据包聚合整理，生成netflow格式的数据流记录 nProbe 数据存储 二进制文件模式 按照日期分类存储 /Dir/DeviceName/Year/Month/Day/Hour/FileName 数据分析模块 流量统计功能 网络应用识别 网络流向分析 系统部署情况 效果 -1 某个时刻/某段时间 的流量分析 Flows, Packets , Bytes 效果 -2 网络流量的按IP地址段实时展示 吞吐量 吞吐率 效果 -3 效果 -4 系统展望 流量统计分析 定制化地图 行为检测与分析 数据存储 采用NoSQL 流量分析 采用Hadoop MapReduce 谢谢 QI Fazhi/CC/IHEP 网络流量的按协议分类实时展示 网络流量的按目标/源IP地址段实时展示 网络会话实时展示 网络流量与Google地图关联 QI Fazhi/CC/IHEP * *