基于大数据的网络安全分析..docxVIP

基于大数据的网络安全分析 作者： 蓝盾研发中心-刘峰 今年接手SOC产品研发，产品经理一直强调核心是事件关联分析，数据大集中后挖掘各种安全隐患，实时性关联分析以及识别或预防各种未知的攻击是技术难点。了解了一下，SOC已进入3.0时代，随着大数据技术的成熟，各个竞争对手都引入大数据平台解决先前无法解决的各种技术问题，比如大数据量存储、实时在线分析，以及各种机器挖掘技术，虽然有技术难度，但比较好的是大数据技术最近才成熟流行起来，大型的互联网公司和运营商虽然已掌握，但大部分公司和产品还未采用或者正在研发，大家基本上都在同一个起跑线上，由于大数据必须与业务紧密结合才能发挥价值，对我们来说是一个机会，正好赶上。 当前的挑战 当前网络与信息安全领域，正面临着全新的挑战。一方面，伴随大数据和云计算时代的到来，安全问题正在变成一个大数据问题，企业和组织的网络及信息系统每天都在产生大量的安全数据，并且产生的速度越来越快。另一方面，国家、企业和组织所面对的网络空间安全形势严峻，需要应对的攻击和威胁变得日益复杂，这些威胁具有隐蔽性强、潜伏期长、持续性强的特点。 面对这些新挑战，现有安全管理平台的局限性显露无遗，主要体现在以下三个方面 数据处理能力有限，缺乏有效的架构支撑：当前分析工具在小数据量时有效，在大数据量时难以为继，海量异构高维数据的融合、存储和管理遇到困难；安全设备和网络应用产生的安全事件数量巨大，IDS误报严重，一台IDS系统，一天产生的安全事件数量成千上万，通常99%的安全事件属于误报，而少量真正存在威胁的安全事件淹没在误报信息中，难以识别； 威胁识别能力有限，缺乏安全智能：安全分析以基于规则的关联分析为主，只能识别已知并且已描述的攻击，难以识别复杂的攻击，无法识别未知的攻击；安全事件之间存在横向和纵向方面（如不同空间来源、时间序列等）的关系未能得到综合分析，因此漏报严重，不能实时预测。一个攻击活动之后常常接着另外一个攻击活动，前一个攻击活动为后者提供基本条件；一个攻击活动在多个安全设备上产生了安全事件；多个不同来源的安全事件其实是一种协作攻击，这些都缺乏有效的综合分析 安全预判能力有限，缺乏对抗能力：安全运营以被动应急响应为主，难以对风险进行提前的评估与研判，总是疲于救火。 SOC3.0时代来临 SOC3.0以大数据分析架构为支撑，以业务安全为导向，构建起以数据为核心的安全管理体系，强调更加主动、智能地对企业和组织的网络安全进行管理和运营。 在DT时代， SOC3.0的核心要素是：业务、主动、智能、大数据。 业务?用户的业务系统是安全的终极保障对象，以业务为核心的安全就是要从业务四要素（支撑环境、流程、数据和人）出发去保障业务安全，并通过建立指标体系来度量安全效果。 主动?强调构建主动的安全机制，进行前摄性的安全防御，包括集成漏洞管理、配置核查，并引入外部威胁情报，进行积极的安全预警和主动运维。 智能?强调建立起智能化的安全分析能力，既要保留现有基于规则的关联分析，也要利用更加丰富的情境数据（漏洞、情报、身份、资产等信息）进行情境关联，更要借助诸如行为分析、机器学习、数据挖据等技术来做到知所未知。 大数据?大数据时代的安全管理必然是数据驱动的，必须以大数据架构为支撑，基于大数据技术重新构建信息采集、数据融合、事件存储、高级安全分析、态势感知和可视化等安全管理能力。 事件关联分析场景介绍 对于每套系统管理都有它的安全防护措施，只不过是安全孤岛，但是万物之间必然有它的联系，将这些日志联系到一起分析，就是关联分析，这里关联的好坏就决定于他的关联库、关联规则和知识库。 场景一 针对一个典型的网络构成如下图，介绍基本的关联分析过程： 路由器记录所有数据包通过的信息 防火墙根据指定的策略记录下所有允许和丢弃的数据包访问信息 IDS对所有数据检测后，记录可疑数据包的告警信息 应用服务器记录对各种服务的访问信息以及进行的文件操作 场景二 对于WEB漏洞发起的攻击包检测，通常经历下面几步： IDS检查到对目标WEB服务器的漏洞攻击包 检查路由器日志，触发告警的包是否通过路由器 分析防火墙日志，过滤器是否拦截攻击包 检查服务器文件完整性，运行Tripwire检查文件完整性，查看文件权限是否修改 分析syslog输出或服务器事件日志，检查攻击是否真正发生 通过上述分析，基本确定一个攻击事件是否发生，需要通过分析许多相关设备日志信息，同时能够追溯到攻击源，从全局来观察攻击事件的开始、发展、结束过程以及是否造成危害 场景三 比如在VPN服务器日志显示张三3:00钟，从外面登陆到内部网 在3:05分登陆FTP服务器，并在FTP服务器上下载了某个文件 在门禁系统的日志显示张三在不久前刚刚进入办公区域 这三个日志可以关了出一个安全事件 场景四