- 1、本文档共13页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
核心模块实现数据捕获模块不支持netflow端口镜像降低了
高能所网络流量分析系统设计与实现
齐法制 [Fazhi.Qi@ihep.ac.cn]
曾 珊 [zengshan@ihep.ac.cn]
SCE2011@ChengDu,2011.7.6
背景
关键技术简介
系统设计与实现
系统系统部署情况
系统展望
背 景
技术的发展,应用的需求驱动
网络规模扩大
高速网络(10Gbps)
网络管理/运维和规划
What :应用? 异常流量?
Who :谁用的?主要用户有哪些?
Where:流量从哪来?到哪里去?
目标
网络流量可视性
应用可视性
用户可视性
关键技术介绍
网络流量信息标准
netflow
CISCO公司,1996年发明
设计目的
网络交换设备对数据交换进行加速
对高速转发的IP数据流(Flow)进行测量和统计
原理
七个字段来唯一的标识一个流
源IP地址、目的IP地址、协议类型、源端口、目的端口、服务类型、进入接口号
sflow
由 InMon 公司开创
“统计采样技术”
纯数据包采样技术
基于样本
网络流量信息获取技术
Netflow/sflow输出
Mirror
系统设计与实现 --总体结构及其模块划分
数据捕获模块
实现对网络通讯数据的采集
数据流转换模块
将采集到的数据进行初步分析,并根据数据包头信息,将数据转换成netflow格式的数据流
满足部分不支持netflow协议的网络设备而开发的
数据流存储模块
将netflow数据流按照一定的格式和模式进行存储,并作为数据分析模块的源数据
数据分析模块
根据设定规则,实现对netflow数据的分析
结果展现模块
用户界面
web展示,提供按时间段以及IP段的查询和自动图表生成工作
系统设计与实现 --核心模块实现
数据捕获模块
不支持netflow
端口镜像
降低了netflow对网络设备性能影响
数据流转换模块
侦听数据包聚合整理,生成netflow格式的数据流记录
nProbe
数据存储
二进制文件模式
按照日期分类存储
/Dir/DeviceName/Year/Month/Day/Hour/FileName
数据分析模块
流量统计功能
网络应用识别
网络流向分析
系统部署情况
网络流量的按协议分类实时展示
网络流量的按目标/源IP地址段实时展示
网络会话实时展示
网络流量与Google地图关联
效果 -1
某个时刻/某段时间 的流量分析
Flows, Packets , Bytes
效果 -2
网络流量的按IP地址段实时展示
吞吐量
吞吐率
效果 -3
效果 -4
系统展望
流量统计分析 定制化地图
行为检测与分析
数据存储 采用NoSQL
流量分析 采用Hadoop MapReduce
谢谢
您可能关注的文档
- 方便纳税人全面.doc
- 施放气球安全监督检查计划及任务清单.doc
- 无机化学兰州大学物理系.doc
- 无机化学辽宁石油化工大学化学与材料科学学院.pdf
- 无机框图推断题题型的解题要点与技巧.ppt
- 无机环境中主要以CO2和碳酸盐的形式存在生物群落.ppt
- 无线宽带翼族总动员奖品非实物奖营销规则.doc
- 无锡振华轿车有限公司年产346万套汽车零部件项目.doc
- 日本外观分类D.ppt
- 日照贸促会.doc
- 2024年05月黑龙江双鸭山饶河县事业单位面向社会公开引进高学历人才10人笔试上岸历年高频考点(难、易错点)附带答案详解.docx
- 2024年05月黑龙江鸡西市营商环境建设监督局招考聘用笔试上岸历年高频考点(难、易错点)附带答案详解.docx
- 2024年06月安徽马鞍山含山县选任人民陪审员120人笔试上岸历年高频考点(难、易错点)附带答案详解.docx
- 2024年2月上海交通大学医学院附属上海儿童医学中心招考聘用100人笔试上岸历年高频考点(难、易错点)附带答案详解.docx
- 2024年06月春季奥体中心公开招聘笔试上岸历年高频考点(难、易错点)附带答案详解.docx
- 2024年06月中国农业电影电视中心公开招聘应届毕业生拟录用人选笔试上岸历年高频考点(难、易错点)附带答案详解.docx
- 公路工程监理工程师经济系列(公路工程经济)模拟练习试卷16.pdf
- 公路工程监理工程师经济系列(公路工程经济)模拟练习试卷8.pdf
- 设备工程进度管理方法练习试卷1.pdf
- 环境影响评价师(环境影响评价技术方法)模拟试卷74.pdf
最近下载
- 人教版语文课文同步写字表生字表每日打卡丨一年级(下册).pdf
- 沥滘三期污水处理厂 总平面布置图-布局1.pdf VIP
- 麦肯锡-2024年全球关键并购趋势报告(英译中).pdf
- 人教版小学古诗文汇总(1至6年级).pdf VIP
- 发展与教育心理学题库.doc VIP
- 云算力租赁合同.docx VIP
- 2023年高考数学解析几何模型 圆锥曲线中的范围与最值问题(解析版).pdf VIP
- 2023年高考数学热点解析几何模型通关圆锥曲线中的定点问题(解析版).pdf VIP
- 临近高压输电线路作业审批表.docx VIP
- 2022年内蒙古锡林郭勒正蓝旗总工会招聘社会化工会工作者考试备考试题及答案解析.docx VIP
文档评论(0)