基于大数据的网络安全态势感知关键技术研究.docx

?

?

基于大数据的网络安全态势感知关键技术研究

?

?

王以伍张牧

摘要：随着大数据、人工智能、云计算等信息化技术的发展，以及“网络空间安全”上升到国家战略层面的高度，网络安全态势感知也成为网络安全领域的新热点。利用大数据相关技术对网络运行相关海量数据进行分析、过滤、融合、识别已知和未知的安全威胁，建立完善可靠的安全体系，指导网络安全运维工作，从而有效保障网络安全。

关键词：态势感知;网络安全;关联分析;复杂事件;日志;告警

：TP393.08：A

：1009-3044（2020）15-0043-04

1引言

随着互联网的快速发展，各种网络安全事件层出不穷，从简单的网页篡改、挂马到威胁国家安全的网络攻击行为屡见不鲜。网络攻击逐渐呈组织化、规模化发展。近年来，像“震网病毒”“BlackEnergy“委内瑞拉大规模停电”等网络安全事件影响巨大，甚至威胁到国家稳定。

2017年6月1日，《网络安全法》的颁布实施，各机构、单位对网络安全越发重视，落实等级保护制度，部署相应的安全设施。传统的网络安全管理方式注重安全功能的叠加，通过建设防火墙、漏洞扫描、WAF、IPS等安全设备查漏补缺，完成各方面的安全防护。但网络攻击日渐精进，黑客正在全球布局，高明的攻击手段一般长期潜伏、持续渗透，隐蔽性极强。

1999年，网络态势感知（CyberspacesituationalAwareness，CSA）的概念首次被提出。近年来，网络安全态势感知的概念逐渐引起研究人员的兴趣，希望通过大数据、人工智能等技术从大量且存在噪声的数据中提取隐藏的安全事件，方便管理人员宏观地把握整个网络的安全状况。这对于提高网络系统的监控能力和应急响应能力具有积极的作用。态势感知不仅在2016年“419”讲话中被提及，《“十三五”国家信息化规划》也明确提出，“建立政府和企业网络安全信息共享机制，加强网络安全大数据挖掘分析，更好感知网络安全态势，做好风险防范工作。”

2网络安全态势感知架构

采集和分析各种异构的传感器安全事件，进行汇总、分析、处理，以直观的方式呈现，方便管理者把握复杂、多变的安全态势是态势感知的核心工作。但是，目前实现网络安全态势感知还存在一些困难，主要体现在以下几个方面：

（1）精简复杂事件，提炼出有效信息，降低误报率是网络安全态势建模的主要问题。

（2）不同传感器对攻击活动定义的呈现方式存在差异，在琐碎的告警信息中将同类信息进行相互的关联是个重要问题。

（3）传感器产生的告警数据繁多，但是针对告警的处理知识却很少，主要通过专家库规则来进行，通常无法满足需求。

本文通过开源分布式技术架构建立的一套以大数据技术为基础的态势感知平台，全方位整合孤立的防护孤岛和信息孤岛，对网络设备、安全设备、应用系统、终端、数据库等各种日志等海量安全数据进行集中采集、存储和分析，打破了原有安全防护措施的烟囱式防护方式，将所有安全防护措施打通，利用其对海量数据的高效计算能力，结合复杂事件处理技术，建立可靠的威胁检测模型，从整体上提升对安全威胁的发现识别、理解分析、响应处置能力的一种方式，实现网络防御从被动到主动的转变，建立起全网安全态势感知能力。网络安全态势感知架构如图1所示。

如图所示，态势感知主要涉及四个环节的内容，在数据采集阶段通过对海量数据的采集，汇入到数据库中，数据源搜集的信息包括以下方面：

（1）日志数据：包括网络设备、主机、应用、安全设备记录的日志和告警信息。

（2）流量数据：网络流量数据。

（3）支持数据：整个网络中所有的资产信息、相关的人员信息、账号信息以及与资产相关的漏洞信息和威胁情报信息等。

数据采集和预处理是对数据源收集的信息进行解析、标准化和丰富化处理，从而为数据分析提供高质量的数据。主要工作包括以下几方面：

（1）数据解析：通过Syslog、SNMP和文件共享等方式进行数据的解析。

（2）标准化：对数据进行标准化，便于事件检索和实时关联分析。

（3）丰富化：对数据进行丰富化，从而提高事件分析的可信度，降低误报率。

数据存储是指全量存储网络中原始的网络数据，使数据结果分析更加全面可信。对所有网络行为数据建立索引，便于陕速查询、管理分析和举证。

数据分析是在安全数据搜索引擎的基础上，充分利用大数据分析的模型算法和处理能力，从海量数据中自动挖掘出有价值的信息。

数据应用是依据数据分析结果，实现网络安全态势感知、告警管理、追踪溯源等应用。

3关键技术分析

3.1关联分析

关联分析又称关联挖掘，是一种用于发现存在于海量数据集的关联性或相关陛的分析技术。通过关联分析，查找存在于项目集合或对象集合之间的频繁模式、关联规则、相关性或者因果结构。

例如网络中的防火墙、WAF、入侵检测行为审计等安全设备（探针）都会对进入网络的安全事件进行日志记录，当出现某一特