面向大数据的网络安全分析方法-软件工程专业毕业论文.docxVIP

万方数据 万方数据 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。 研究生签名： 日期： 南京邮电大学学位论文使用授权声明 本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文 档；允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索； 可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质 论文的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院办理。 涉密学位论文在解密后适用本授权书。 研究生签名： 导师签名： 日期： 摘要 互联网的快速发展催生了云计算大数据平台出现，云计算，云存储，分布式计算框架等 平台已经逐步形成一套完备的系统。随着网络应用的服务量在人们的生活中逐步增加。网络 安全事件也呈现爆发性的增长。而网络中的入侵行为不仅对人们的日常生活产生了巨大的影 响，甚至对国家的安全带来了危害。如何准确的发现和处理大规模的异常流量是一个非常有 意义的课题。 本文以 spark，flume，hdfs 为基本框架，设计了一种大规模异常流量大数据分析平台， 分别对数据采集，存储，计算等方面进行阐述，该模块均使用了 spark 和 hadoop 生态圈相关 技术。 在算法设计方面分别使用了朴素贝叶斯和 cart 决策树算法分别对 kdd99 和 darknet 数据集 进行分类。提取了攻击数据中的主要特征值观察实验结果。 本文设计了基于云平台的网络安全分析平台，在 spark 平台上实现了基于贝叶斯分类器和 cart 决策树的 DDoS 的检测方法。对上述网络安全检测方法进行实验测试，验证其有效性。 关键词:大数据平台，DDoS 攻击 ，Sparkmllib，NaiveBayes 和 Cart 决策树 I The development of the Internet has given rise to the emergence of cloud computing platform. Cloud services, cloud architecture, cloud storage and a series of solving large-scale data computing platform have been initially formed a system specification. In the network, the data volume of the application service is rising fast,the network security event grows quickier more than once upon a time, and there is also the explosive growth nowadays. As people dependent on the Internet, the harm brought by the economic or national security which is caused by the network intrusion behavior and the attacktion of the network infrastructure is greatly enhanced.How to accurately found the existing abnormal flow behavior in the large-scale network in real time, and effectively solve the problem of security is a very meaningful topic. Based on spark as the basic framework，this paper puts forword naivebayes and cart decision tree algorithm. Extract the main characteristics of attack data value to observe results. This article designed network secu