基于云计算的异常流量检测系统的实现 毕业设计.doc

分类号：TP391 520．3040 密级： 天津理工大学研究生学位论文 基于云计算的异常流量检测系统的实现 (申请硕士学位) 学科专业：计算机应用技术 研究方向：网络安全 作者姓名：张龙 指导教师：王劲松教授  2013年1月  Thesis Submitted to Tianjin University of Technology for the Master’S Degree An Anomaly Traffic Detecting System using Cloud C omputing By Long Zhang Supervisor Jinsong Wang  January,2013  独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取 得的研究成果，除了文中特JjtI．DN以标注和致谢之处外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得 墨盗墨墨太望 或 其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研 究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 学位论文作者签名：参农茹 签字日期： 矿·弓年 1月≯》日 学位论文版权使用授权书 本学位论文作者完全了解 墨盗墨墨太望有关保留、使用学位论文 的规定。特授权墨盗墨墨太堂 可以将学位论文的全部或部分内容编入 有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编， 以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复本和电子 文件。 (保密的学位论文在解密后适用本授权说明) 学位论文作者签名：》彩 导师签名：可乃舌币  签字日期： 矽l：；年月)矿日 签字日期： 沙哆年月2，日  摘要 互联网异常是指影响网络性能或造成数据破坏的事件，这些事件通常会引起某些流 量特征违反某种已建立的模式或标准，分析流量特征在异常情况下的变化，并以之为基 础进行异常检测的应用研究，可以及时地发现网络异常、诊断网络错误，对互联网的安 全运行和管理具有重要的意义。 NetFlow是一种数据交换方式，一个NetFlow流定义为在～个源IP地址和目的IP地址 问传输的单向数据包流，且所有数据包具有共同的传输层源、目的端口号。Netflow数据 中包含了网络异常检测所需要的流量特征，可以利用Netflow数据所提供的网络流量特征 分析当前网络所处的状态。目前的基于Netflow的异常检测尚有很多不足：1)高的误检 率；2)多数方法难以达到高速链路的实时在线检测需求；3)Netflow数据量较大，对于 历史数据不能有效的存储：4)全网异常检测方法较少且问题较多。 云计算通过整合互联网络中的闲散资源，对外提供强大的存储和计算能力，以及一 些其它解决方案。Hadoop是一个开源分布式数据处理框架，被用于高效地处理海量数 据。由于Hadoop具有可伸缩性、高可靠性、低成本性和高效性等优点，已成为一种流 行的云计算开发平台。Hadoop提供了云计算所需要的众多功能：HDFS分布式文件系统、 MapReduce计算模型、HBase分布式NoSQLN数据库等。利用云计算开发平台我们可以 解决网络数据存储和异常检测的众多问题。 本文以互联网异常流量特征的分析为基础，利用Hadoop云；计算开发平台，进行异常 检测的应用研究，实现了一个基于云计算的异常流量检测系统。 本文主要研究内容和贡献如下： 1．提出一种基于包数据流量特征的分析方法，并应用这种方法对流量特征的异常变 化进进行了分析。主要结果是正常流量特征分布在小的时间尺度上具有一定的稳定性， 而异常流量会导致部分流量特征的分布产生明显的变化，从而打破这样的稳定性。 2．提出了用于检测互联网异常的十维异常流量分析指标，利用分析指标的变化情 况分析网络中存在的异常流量，使用分析指标的不同变化检测网络中未知的异常流量。 3．利用Hadoop搭建云存储平台，利用HDFS分布式文件系统存储大量的netflow数据 文件，HDFS有着高容错性的特点，并且设计用来部署在低廉的硬件上。HDFS的高吞吐 量使得其尤其适用于大数据集的程序。 4．将MapReduce计算模型用于异常流量分析的过程之中，简化了计算步骤，加快了 方法的检测效率，增强了异常流量检测的实时性。