面向安全的大数据分析方法和思路.PDFVIP

专家视角 面向安全的大数据分析方法和思路 安全咨询部 王卫东 关键字: 大数据 安全 异常检测 机器学习 摘要: 本文首先从原理的层面对适用于异常检测的大数据分析算法做了简单介绍，然 后描述了针对告警和行为两大类数据的分析思路，并举例说明如何利用前述的分析算法和 分析思路获得期望的分析结果。 1. 大数据分析概述 的分析以及手写字迹和语音影像识别等等。 近年来的大数据分析主要集中在商业决策领域里的用户行为模 1.1 大数据的基本特征 式分析、生产设备（发电机组、运输车辆等）运行数据分析、产品服 年来由于理论方面的（方法和算法）和工程方面（计算能 近力）的条件逐渐成熟，大数据分析成为IT 领域的一个热门 务的价格信息分析等。 大数据分析方法在异常检测领域也有着广阔的应用前景，例如 话题。对于什么是大数据，有多种不尽相同的描述。但是大数据所 对地震、海啸、火灾、罪案发生地点等突发事件的预警，再例如对 具备的几个特性，是为业界所公认的。即所谓的若干个V （Volume, 金融交易欺诈（洗钱、证券内幕交易等）、社会福利欺诈、财务报销 Variety, Value, Velocity, Veracity），中文的含义分别对应的是“数 欺诈等欺诈行为的检测。此外，大数据分析还可以在内部威胁行为 量巨大、种类繁多（结构迥异）、价值蕴藏、流转迅速、真实可靠。” 发现、僵尸检测、攻击入侵检测、脆弱性分析等信息安全方面发挥 除此以外，“跨度绵长”也是大数据的一个重要特征，也就是数据应 作用，但是这方面的应用还不是很多。本文将重点阐述大数据分析 该覆盖较大跨度的时间范围。大数据的这几个特征也可以作为我们 发现异常行为或攻击事件的方法与思路，这些异常行为或攻击事件通 采集大数据的时候需要依据的原则。 常是传统分析方法无法发现的。 1.2 大数据的应用场景 1.3 对异常行为或攻击事件及其检测效果的界定 传统的大数据分析主要用于科研领域的知识发现和模式识别， 如基因组序列、地质气象数据、高能物理实验数据等各种科研数据 为了明确分析目标且不产生歧义，有必要对异常行为或攻击事 3 专家视角 件（以下简称异常）的范围做出明确的界定， 可能相似，不同类的差异尽可能大。聚类是 2. 适用于异常检测的大数据分析算法 这里用枚举的方式尽可能多地罗列出常见的 一个自动的过程，不用事先指定分类标准或 异常： 大数据分析领域里所涉及的统计学习算 给出学习样本。可以把聚类简单的概括为“聚 异常的域名解析请求 法有很多，不同的算法也有各自适用的场景。 物成类、类内相似、类间互异、无须指导”。 网络扫描 本节内容只选择笔者认为适用于检测异常的 离群实际上是聚类的