安全态势感知与机器学习：数据预处理与特征工程.pdfVIP

安全态势感知与机器学习：数据预处理与特征工程

近年来随着机器学习的广泛应用，来多的安全态势感知系统开始使用机

器学习进行数据分析和态势预测。应用机器学习的重要环节就是特征工程，特征

工程做不好，机器学习学不好。

一、安全态势感知模型

随着网络规模和复杂性不断增大，新型高级入侵攻击手段不断涌现，传统

的网络安全方案力不从心，单点检测和防护技术很难应对复杂的安全问题，网

络安全人员的关注点也从单个安全问题的解决，发展到研究整个网络的安全状

态及其变化趋势。

安全态势感知就是获取影响网络安全的诸多要素，进行多维度综合理解、

评估，并预测未来的发展趋势I态势感知已经成为网络安全2.0时代安全技术

的焦点，对保障网络安全起着非常重要的作用。

安全态势感知的概念由来已久，早在1995年，前美国空军首席科学家Mi

caR.Endsley就建立了态势感知的经典模型，其核心内容包括：态势要素获

取、态势理解和态势预测，如下图所示。

态势要素获取（第1级）：提取环境中态势要素的位置和特征等信息；

态势理解（第2级）：关注信息融合以及信息与预想目标之间的联系；

态势预测（第3级）：主要预测未来的态势演化趋势以及可能发生的安全事

件。

根据正在讨论的国标《信息安全技术网络安全态势感知通用技术要求（征

求意见稿）》，安全态势感知系统主要划分为数据汇聚层、数据分析层、态势

展示层和监测预警层，具体框图如下所示：

网络安全态势感知系统

态势展示层监测覆界层

零g态势♦示

安全每警

系数

统据

贲服

源务

管接

理II

一一飞

前途数据源

采集对象I|—真爱猫关里

数据汇聚层包括数据采集、数据预处理和数据存储，对应Endsley模型中

的态势要素获取。

数据分析层包括网络攻击分析、异常行为分析和资产风险分析，对应Ends

ley模型中的态势理解。

态势展示层包括整体态势展示、专题态势展示和态势报告，是态势理解的

可视化展示。

监测预警层包括监测告警和安全预警,对应Endsley模型中的态势预测。

总体来看，安全态势感知系统本质就是一个大数据分析系统，通过对海量

数据的智能分析，理解网络的当前安全状态，预测网络的未来安全状态。数据

汇聚层负责采集原始数据进行预处理和存储，这部分功能决定了数据的质

量，也是大数据分析的基础,数据质量决定分析质量，本文主要讨论数据预处

理的相关技术。

二、数据预处理

安全态势感知系统通过各种方式、采用多种协议、从多种设备采集到各种

数据，采集数据类型包括但不限于网络流量、资产信息、日志、漏洞信息、用

户行为、威胁信息等数据。这些多源异构数据必须经过预处理才能进入后续的

分析环节。

数据筛选

数据换

数据标签

数据预