网络业务及安全态势大数据分析平台介绍.pptx

网络业务及安全态势大数据分析平台主要内容研发背景及目标研发背景我校2014年12月11日召开的信息化领导小组工作会议决定，拟建立四川大学网络业务及安全态势大数据分析平台由学校投资建设硬件平台，由四川大学网络与可信计算研究所负责软件研发项目分阶段逐步推进，7月底硬件到位，目前处于第一阶段大数据平台流量数据来源校园网出口流量川大数据中心流量研发目标实现全校网络出口流量的业务采集和分流，提供全校统一的解决方案对核心网络流量进行业务分析，掌握全校网络的应用、性能等状况对我校的网络安全态势进行实时分析和掌握主要内容硬件架构采集路由器实现对全网数据流的采集，并通过策略将不同的数据流镜像到不同的端口采集服务器3台华为Tecal RH2288H V2服务器采集川大数据中心原始流量数据+校园网出口Netstream数据服务器集群10台华为Tecal RH2288H V2服务器实现对海量数据存储和分析万兆交换机实现对服务器、存储等的高速互联软件架构数据传输数据存储与访问数据处理与分析数据采集与预处理数据可视化主要内容关键问题及技术采样信息失真严重 VS 原始流量规模较大Netstream采样信息误差较大，给基础数据统计和行为分析的准确性造成一定影响但是原始流量规模较大，直接采集原始数据包丢包率较高采用PF_RING技术，解决大规模网络流量采集问题分布式数据传输、聚合和缓存采集端?存储端 及 采集端?流式处理端使用Flume+Kafka组件作为数据传输管道和可持久化消息队列分布式数据实时分析基于Spark Streaming的实时处理技术关键问题及技术网络数据流重组及网络行为还原如何将采集到的数据包还原为会话、还原为应用层行为：自建协议栈数据中心大规模的流量，高性能采集和还原：PF_RING，XTASK多任务调度框架服务器行为建模基于异常 vs 基于误用基于流量结构稳定性和行为模式规律性建模，检测未知攻击和异常动态时间序列实时检测静态特征 vs 动态特征静态时间序列检测 vs 动态时间序列检测基于动态多维时间序列的网络行为模型主要内容当前研究进展完成数据采集与预处理数据中心原始流量采集还原、网络出口Netstream流量解析与采集完成大数据平台的搭建基于Spark的分布式离线处理、基于Spark Streaming的实时处理、分布式数据传输、分布式数据存储与访问等网络流量各维度的分析校内校外流量/包数/连接数TOP IP排行、校内校外IP数统计、流量按协议分布情况、端口群流量分析等Netstream流量各维度统计、 DNS服务状态分析、DNS请求数据的分析、邮件数据的校区及地理分布分析等实现了初步的系统功能全局流量状态、校区流量状态、区域流量状态、机构流量分布、流量业务排行榜、网站业务排行榜、服务器分析、Web服务监测、DNS服务监测、安全事件实时监测等阶段性成果展示流量状态阶段性成果展示流量业务分析阶段性成果展示流量业务排行榜阶段性成果展示网站业务排行榜阶段性成果展示服务器分析总览阶段性成果展示Web服务监测阶段性成果展示DNS服务监测阶段性成果展示主要内容下一步研究计划对网络出口原始流量的采集、存储与分析Netstream采样信息误差较大，给基础数据统计和行为分析的准确性造成一定影响出口流量规模较大（4.5Gbps左右），给数据采集和存储提出了新要求丰富的信息来源，多样性的数据当前研究主要以网络流量数据为主引入更丰富的数据源：IDS、防火墙、漏洞扫描数据、各类告警数据等网络业务和网络行为精细化分析当前对网络业务的分析主要以统计分析技术为主采用更丰富的数据挖掘方法，实现精细化分析，如多源异构数据关联分析、用户行为画像大数据网络安全态势感知研究大规模网络安全事件数据的获取与预处理建立网络安全态势指标体系态势评估与预测模型态势展示