基于大数据网络异常流量检测综述.docVIP

基于大数据网络异常流量检测综述 　　摘要：以大数据处理方式来做流量异常检测这一问题出发，通过近五年来的科研文献调查研究大数据给流量异常检测带来的变化。包含基于大数据的网络异常流量检测架构，针对海量流量数据异常检测的有效算法，基于大数据网络异常流量检测仿真实验平台和数据集。 　　关键词：大数据；异常流量检测；分类；聚类 　　中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2017）27-0019-03 　　Abstract：The author examines the variation in traffic anomaly detection caused by big data through referring to scientific literature over the five years， which is founded upon the issue of traffic anomaly detection via big data. The study includes the framework of network traffic anomaly detection with the foundation of big data， the efficient algorithm targeted at the anomaly detection of plenty of traffic data， the simulated experimental platform on the fundamental elements of traffic anomaly detection via big data and the data set. 　　Key words： big data； anomaly traffic detection； classification； clustering 　　1 概述 　　2017年5月的“比特币病毒”攻击事件，6月顺丰及阿里的物流数据之争成为了当月的热点事件，这两起事件引起了人们对“安全”和“数据”关注。2012年Gartner称信息安全问题将演变成大数据分析的问题，海量安全数据应该被有效地关联、分析和挖掘。如果我们把大数据这个词作为一种新的计算理论、方法、技术和应用的综合体来看，那么我们探讨大数据与信息安全之间的关系，就有两种方向：其一，就是如何用大数据来解决安全问题（这正是本文需要研究的主题）；其二，就是如何保障大数据的安全[1]。 　　网络异常检测一直是网络安全领域内最为活跃的研究分支之一，包括对流量突变、设备失效、越权资源访问、可疑主机等的检测，其本质原理是探寻表征目标对象属性、状态与变化的特征，然后构建检测模型，对违背策略或偏离正常行为模式的行为进行判定。近几年，大数据技术越来越多的应用到网络异常检测中，尤其是基于大数据的网络用户行为分析技术的应用，极大提高了当前网络异常检测的准确率。 　　2 基于大数据的网络异常流量检测架构 　　大数据具备“4V”的特点：Volume（大量）、Variety（多样）、Velocity（高速）和Value（低价值密度），能够实现大容量、低成本、高效率的分析能力，也可以满足数据处理分析要求，将大数据分析应用于信息安全范畴能有效地识别各种攻击行为或安全事件。大数据处理的普遍流程至少包含采集、导入/预处理、统计/分析和挖掘四个方面的步骤。而将大数据分析技术引入到信息安全分析中，就是散乱的安全数据融合起来，经过高效的采集、存储、检索和分析，运用多阶段、多层面的关联分析以及异常行为分类预测模型，提升安全防御的主动性，更加有效的发现APT攻击、数据泄露、DDoS攻击、骚扰诈骗、垃圾信息等。并且，大数据分析触及的数据范围更广，主要涉及应用场景本身产生的数据、经过某种活动或内容“创立”出来的数据、相干背景数据以及上下文关联数据等[2]。传统信息安全分析主要基于流量和日志两大类数据，并与资产、业务行为、外部情报等进行关联分析。基于流量的安全分析应用主要包括恶意代码检测、僵木蠕检测、异常流量、Web安全分析等；基于日志的安全分析应用主要包括安全审计、主机入侵检测等[3]。 　　网络系统安全的要素主要包含完整性、可鉴别性、防抵赖性和可审计性，目前通常采用加密、认证及入侵检测等方法来保证网络安全。其中，入侵检测系统（Intrusion Detection System，IDS）是保证主机和网络安全的重要手段，通过监控主机设备和网络的使用情况，对非法操作进行识别并告警。入侵检测作为一种有效的方式被用来增强网络的安全性。 　　网络异常流量检测是指以网络流数据为输入，通过统计分析、数据挖掘和机器学习等