一种互联网宏观流量异常检测的方法.docVIP

一种互联网宏观流量异常检测的方法 　　摘要：网络流量异常指网络中流量不规则地显著变化。网络短暂拥塞、分布式拒绝服务攻击、大范围扫描等本地事件或者网络路由异常等全局事件都能够引起网络的异常。网络异常的检测和分析对于网络安全应急响应部门非常重要，但是宏观流量异常检测需要从大量高维的富含噪声的数据中提取和解释异常模式，因此变得很困难。文章提出一种分析网络异常的通用方法，该方法运用主成分分析手段将高维空间划分为对应正常和异常网络行为的子空间，并将流量向量影射在正常子空间中，使用基于距离的度量来检测宏观网络流量异常事件。 　　关键词：主成分分析；流量分析；异常检测 　　Abstract: Network traffic anomalies and significant changes in the network traffic are unusual. The reason for network anomalies are local security events such as network flashing, Distributed Denial of Service (DDoS) and large-scale network scanning, as well as global security events such as anomalies in routing. It is very important for Computer Security Incident Response Teams (CSIRTs) to detect and analyze network anomalies. Anomalies are detected from large amounts of high-dimensional noise-rich data, which, because of their huge number, make anomaly detection very difficult. This paper proposes a general method based on Principal Component Analysis (PCA) to analyze network anomalies. The method divides the traffic matrix into normal subspace and anomalous subspace, maps the traffic vector into normal subspace, gets the distance from detected vector to average normal vector, and detects anomalies based on that distance. 　　Key words:principal component analysis; traffic analysis; anomaly detection 　　 　　公共互联网正在社会生活的各个领域发挥着越来越重要的作用，与此同时，由互联网的开放性和应用系统的复杂性所带来的安全风险也随之增多。2006年，国家计算机网络应急技术处理协调中心(CNCERT/CC)共接收26 476件非扫描类网络安全事件报告，与2005年相比增加2倍，超过2003―2005年3年的总和。2006年，CNCERT/CC利用部署的863-917网络安全监测平台，抽样监测发现中国大陆地区约4.5万个IP地址的主机被植入木马，与2005年同期相比增加1倍；约有1千多万个IP地址的主机被植入僵尸程序，被境外约1.6万个主机进行控制。 　　黑客利用木马、僵尸网络等技术操纵数万甚至上百万台被入侵的计算机，释放恶意代码、发送垃圾邮件，并实施分布式拒绝服务攻击，这对包括骨干网在内的整个互联网网络带来严重的威胁。由数万台机器同时发起的分布式拒绝服务攻击能够在短时间内耗尽城域网甚至骨干网的带宽，从而造成局部的互联网崩溃。由于政府、金融、证券、能源、海关等重要信息系统的诸多业务依赖互联网开展，互联网骨干网络的崩溃不仅会带来巨额的商业损失，还会严重威胁国家安全。据不完全统计，2001年7月19日爆发的红色代码蠕虫病毒造成的损失估计超过20亿美元；2001年9月18日爆发的Nimda蠕虫病毒造成的经济损失超过26亿美元；2003年1月爆发的SQL Slammer蠕虫病毒造成经济损失超过12亿美元。 　　针对目前互联网宏观网络安全需求，本文研究并提出一种宏观网络流量异常检测方法，能够在骨干网络层面对流量异常进行分析，在大规模安全事件爆发时进行快速有效的监测，从而为