基于大数据的网络安全分析.docxVIP

基于大数据的网络安全分析 作者： 蓝盾研发中心-刘峰 今年接手 SOC 产品研发，产品经理向来强调核心是事件关联分析，数据大集 中后挖掘各种安全隐患， 实时性关联分析以及识别或者预防各种未知的攻击是技术 难点。了解了一下， SOC 已进入 3.0 时代，随着大数据技术的成熟，各个竞争对 手都引入大数据平台解决先前无法解决的各种技术问题， 比如大数据量存储、 实 时在线分析， 以及各种机器挖掘技术， 虽然有技术难度， 但比较好的是大数据技 术最近才成熟流行起来， 大型的互联网公司和运营商虽然已掌握， 但大部份公司 和产品还未采用或者正在研发， 大家基本上都在同一个起跑线上， 由于大数据必 须与业务密切结合才干发挥价值，对我们来说是一个机会，正好赶上。 当前的挑战 当前网络与信息安全领域， 正面临着全新的挑战。 一方面， 伴有大数据和云计算时代的 到来， 安全问题正在变成一个大数据问题， 企业和组织的网络及信息系统每天都在产生大量 的安全数据， 并且产生的速度越来越快。另一方面，国家、企业和组织所面对的网络空间安 全形势严峻， 需要应对的攻击和威胁变得日益复杂，这些威胁具有隐蔽性强、潜伏期长、持 续性强的特点。 面对这些新挑战，现有安全管理平台的局限性显露无遗，主要体现在以下三个方面 1. 数据处理能力有限，缺乏有效的架构支撑：当前分析工具在小数据量时有效，在大数据 量时难以为继，海量异构高维数据的融合、存储和管理遇到艰难；安全设备和网络应用 产生的安全事件数量巨大， IDS 误报严重，一台 IDS 系统，一天产生的安全事件数量成 千上万，通常 99%的安全事件属于误报，而少量真正存在威胁的安全事件淹没在误报信 息中，难以识别； 2. 威胁识别能力有限，缺乏安全智能：安全分析以基于规则的关联分析为主，只能识别已 知并且已描述的攻击，难以识别复杂的攻击，无法识别未知的攻击；安全事件之间存在 横向和纵向方面(如不同空间来源、时间序列等)的关系未能得到综合分析，因此漏报 严重，不能实时预测。一个攻击活动之后往往接着此外一个攻击活动，前一个攻击活动 为后者提供基本条件；一个攻击活动在多个安全设备上产生了安全事件；多个不同来源 的安全事件其实是一种协作攻击，这些都缺乏有效的综合分析 3. 安全预判能力有限，缺乏对抗能力：安全运营以被动应急响应为主，难以对风险进行提 前的评估与研判，总是疲于救火。 SOC3.0 时代来临 SOC3.0 以大数据分析架构为支撑，以业务安全为导向，构建起以数据为核心的安全管理体 系，强调更加主动、智能地对企业和组织的网络安全进行管理和运营。 在 DT 时代， SOC3.0 的核心要素是：业务、主动、智能、大数据。 业务 用户的业务系统是安全的终极保障对象，以业务为核心的安全就是要从业务四要素(支 撑环境、流程、数据和人)出发去保障业务安全，并通过建立指标体系来度量安全效果。 主动 强调构建主动的安全机制，进行前摄性的安全谨防，包括集成漏洞管理、配置核查，并 引入外部威胁情报，进行积极的安全预警和主动运维。 智能 强调建立起智能化的安全分析能力，既要保留现有基于规则的关联分析，也要利用更加 丰富的情境数据(漏洞、情报、身份、资产等信息)进行情境关联，更要借助诸如行为分析、机 器学习、数据挖据等技术来做到知所未知。 大数据 大数据时代的安全管理必然是数据驱动的，必须以大数据架构为支撑，基于大数据技 1 场景四 术重新构建信息采集、数据融合、事件存储、高级安全分析、态势感知和可视化等安全管理能力。 事件关联分析场景介绍 对于每套系统管理都有它的安全防护措施， 只无非是安全孤岛， 但是万物之间 必然有它的联系， 将这些日志联系到一起分析， 就是关联分析， 这里关联的好坏 就决定于他的关联库、关联规则和知识库。 1 场景一 针对一个典型的网络构成如下图，介绍基本的关联分析过程： 1. 路由器记录所有数据包通过的信息 2. 防火墙根据指定的策略记录下所有允许和丢弃的数据包访问信息 3. IDS 对所有数据检测后，记录可疑数据包的告警信息 4. 应用服务器记录对各种服务的访问信息以及进行的文件操作 1 场景二 对于 WEB 漏洞发起的攻击包检测，通常经历下面几步： 1. IDS 检查到对目标 WEB 服务器的漏洞攻击包 2. 检查路由器日志，触发告警的包是否通过路由器 3. 分析防火墙日志，过滤器是否拦截攻击包 4. 检查服务器文件完整性，运行 Tripwire 检查文件完整性，查看文件权限是否修改 5. 分析 syslog 输出或者服务器事件日志，检查攻击是否真正发生 通过上述分析， 基本确定一个攻击事件是否发生， 需要通过分析许多相关设备日志信息， 同时能 够追溯到攻击源，从全局来观察攻击