目标支持高速网络流量数据捕获-IndicoIHEP.pptVIP

* * * * * * * * * * * * * * * * * * * * QI Fazhi/CC/IHEP 基于PMACCT的网络流量分析系统设计与实现 胡皓 花逸 高能所计算中心 2017.7.5 威海 第十八届全国科学计算与信息化会议 背景及需求分析 系统设计 系统实现 当前进展 展望及计划 提 纲 背景及需求分析 系统设计 系统实现 当前进展 展望及计划 提 纲 review 背景及需求分析—高能所广域网现状 高能所- 美国 高能所-科技网-教育网络-美国 10Gbps 高能所- 欧洲 高能所-科技网-教育网络-伦敦-欧洲各国 10Gbps 高能所- 亚洲 高能所-科技网-香港-亚洲各点 2.5Gbps 高能所- 国内 高能所-科技网-教育网-各个大学 10Gbps Hao Hu 背景及需求分析—高能所广域网实际流量状况 高性能广域网是高能物理实验数据分析和合作的基础 广域网流量中 IPv4平均流量为2.5Gbps(in+out),最大达到 7Gbps IPv6平均流量为1Gbps(in+out),最大达到1.5Gbps 每年数据交换量超过7PB Hao Hu 背景及需求分析—需求 网络管理和网络性能优化过程中,需要掌握 Who: 什么人、什么IP地址 When：在什么时间 What：网络中发生着什么？进行着什么样的通讯，协议、应用、数据量……？网络中是否产生异常流量？ Where：网络数据的流向如何？和哪些国家和区域的数据传输量大？ Why：这些流量数据是否符合预期？ 根据分析网络中承载的数据，分析网络可靠性、性能、使用效果、对应用的支撑作用等 长期的趋势数据用作网络带宽资源规划 背景及需求分析—现状 基于IP地址/地址段的流量统计：大亚湾、CMS、ATLAS等物理实验数据传输统计 基于实验数据传输系统的流量统计：PhEDEx 缺乏全局性网络层面细颗粒度数据统计与分析；缺乏网络安全上的用户行为分析、异常特征检测 背景及需求分析 系统设计 系统实现 当前进展 展望及计划 提 纲 Hao Hu 系统设计—目标 支持高速网络流量数据捕获：10Gbps 支持基于通讯五元组的记录存储 支持历史数据的存储和高效读取 支持网络流量信息的灵活分析 支持历史记录查询 支持未来数据分析扩展（安全插件） 友好、易用的用户接口 Hao Hu 系统设计—总体架构 数据源+数据预处理（提取与聚合）+数据存储+数据查询+数据显示 层次之间松耦合、可扩展 Hao Hu 系统设计—数据流程图 Hao Hu 系统设计—关键技术— Pmacct 开源、免费软件包，多种被动网络监视功能工具集 可以实现记帐、分类、聚合、复制、导出网络流量数据 支持? Linux, BSDs, Solaris 等 可以采集?libpcap, Netlink/NFLOG, NetFlow v1/v5/v7/v8/v9, sFlow v2/v4/v5 and IPFIX 可以导出到关系型数据库、NoSQL数据库、?RabbitMQ、Kafka、内存表、文件 Hao Hu 系统设计—关键技术—Pmacct理想架构图 业务流 边界设备产生数据流 通过Netflow/IPFIX协议发送给采集器PMACCT服务器 PMACCT相应模块进行数据预处理并存储到数据库中 分析模块实现对数据的分析 背景及需求分析 系统设计 系统实现 当前进展 展望及计划 提 纲 Hao Hu 系统实现—功能模块 数据采集：聚合、分类/PMACCT 数据存储：关系型数据库（MySQL集群）or NoSQL数据库 数据分析：结合IP地址地域关联数据库进行分析统计— 数据展示：web service+Echarts插件 Hao Hu 系统实现—数据采集 数据来源：边界路由器或者核心交换机 数据获取 不支持netflow设备，PMACCT服务器采用libpcap采集数据 采用镜像端口：降低数据采集对网络设备性能影响 Hao Hu 系统实现—数据预处理 原始数据 目的：提升数据存储和读取效率 PMACCT模块配置：实现聚合和分类 聚合：十分钟流量数据 规则：src_host, dst_host, proto, src_port, dst_port 过滤：pcap_filter（预处理得到IN、OUT的原始数据） 地域IP地址关联列表 目的：提高数据分析效率 IP地址段转成IP地址范围 IP地址范围合并 国内IP地址范围中IP地址的按第一、二、三段位升序排列 Hao Hu 系统实现—数据存储 MySQL Cluster/提升数据库健壮性和读写性能 十分钟流量数据聚类 IN、OUT分别存储 表名：pmacct_IN_yyyy_mm_dd、pmacct_OU