大数据安全运维一体化解决方案.pptx

大数据安全运维一体化解决方案 数据驱动安全 关于 2 项目背景 随着IT业务和产品服务的多样化，使得业务系统产生的数据急剧增长，同时所需的设备数量和安全设施也随之增加。如何能更好的使用这些数据，提高处理效率，成了迫在眉睫的任务，其中首先要实施的是： 安全大数据，通过收集对应各类安全设备日志与网络流信息，清洗归并，进行对应规则判断，以及分析建模。 应用大数据，能够快速而精确地供系统负责人查询到需要的信息与上下文。 监控大数据，收集各类监控子系统详细事件信息，清洗切分，供搜索与横向规则判断（规则引擎），并能做对应分析计算（如监控基线）。 目录 Table of Contents 系统技术架构 系统基础平台 安全分析  3 运维分析 应用分析 成功案例 系统技术架构 大数据安全运维一体化分析系统 大数据安全运维一体化分析系统，是一款基于大数据、机器学习、模式识别等技术的企业级智能安全运维分析平台，它具有海量数据采集、集中存储、快速检索、实时分析及告警、可视化展现和报告等功能。为企业安全事件及异常行为检测、安全态势感知、运维管理和应用分析提供了一个智能、高效、可灵活扩展的解决方案。 本系统采用旁路快速检测方式，是对现有安全运维体系的有效补充，亦可看做下一代的安全信息及事件管理系统和运维分析平台，并可逐步替代现有分析系统。 技术架构 系统基础平台 安全运维一体化系统提供完善的资产管理系统，为网络中的所有资产建立安全档案卡，资产信息包括以下信息： 基础信息：资产名称、IP地址、所属部门、安全域、设备类型、地理位置、负责人等； 安全属性：可用性、完整性和保密性以及资产价值； 弱点属性：资产漏洞信息、安全配置信息等； 资产管理 数据采集范围 网络／安全设备、主机操作系统、数据库、中间件、应用系统； 抽样网络流量：NetFlow信息； 全流量数据： 网络全流量数据包； 日志 网络流量 威胁情报 恶意域名和URL、恶意IP地址、DNS信息、木马病毒信息（MD5/SHA-1）等； 内部 数据 外部 数据 数据采集方案——日志 网络设备 安全设备 数据库 中间件 Syslog/SNMP 数据库JDBC 日志采集模块 安装Agent 主机操作系统 应用系统 FTP/Kafka/HDFS 数据采集方案——网络流量 Hansight NC NC旁路连接并采集用户端镜像网络数据： 1、源IP，目标IP 2、协议类型、端口号 3、TCP会话状态信息（建链、拆链、重传等） 4、报文尺寸与数量 5、组包和解包 6、报文内容解析 HanSight安全运维分析一体化系统的微服务构架 HanSight安全运维分析系统的优势 基于特征库／规则的应对场景比例变小，机器学习辅助成为必须 以数据驱动安全，实现： 数据全方位可见 实时安全数据 算法分析加人工辅助 适合企业的安全运维一体化策略 强大的底层存储分析架构和逻辑引擎 算法分析流程 适合安全分析的无监督学习为主 有人工辅助的半监督学习 无监督异常分析 － 人工确定异常 － 产生标记样本 － 半监督学习 性能基准 入库： 30000EPS 实测单独入库最高可接近20000EPS，为保证查询性能，以当前配置可使其较稳定运行 查询 简单查询一天数据（~3亿条）： 1s 简单查询七天数据（~25亿条）： 10s 采集器性能 单个采集器读取文件：~20000EPS （多文件可并行处理） 安全分析 大数据安全分析 数据 日志 NetFlow 全流量 威胁 情报 资产 信息 实时数据检测 关联分析引擎 安全规则库 历史数据分析 交互 分析 异常 行为 分析 安全事件 网络 攻击 木马 病毒 漏洞 利用 非法 访问 …… 安全告警 高级 中级 低级 全文检索 可视化分析 统计分析 数据建模 机器学习 数据 泄露 病毒 爆发 登陆 异常 溯源分析 威胁场景还原 战损分析 处理措施 行为基线 图分析 威胁情报 安全威胁情报模块 大数据安全管理平台 安全威胁情报公有云 威胁检测请求 API调用 结果返回 结果返回 安全威胁情报私有云 大数据安全管理平台 数据摆渡 结果返回 安全威胁情更新工具 威胁检测请求 办公网环境 隔离网环境 实时关联分析：大数据安全管理平台通过基于Spark Streaming技术实现的强大的CEP引擎，对系统采集的实时数据流进行关联分析。 关联的模式包括统计关联、资产关联、情报关联、模式关联、漏洞关联、策略关联等； 实时数据分析-关联分析 全文检索： 历史数据分析-交互分析 可视化分析： 统计分析： 历史数据分析-异常行为分析 UEBA：用户／