基于Hadoop平台的网络流量分析系统的设计与实现.docx

摘要

为了解决网络使用过程中产生恶意流量而影响用户体验及网络安全的问题，设计了网络流量分析系统。应用了离线数据分析的方法，采用Hadoop生态系统、WireShark捕获报文工具和数据可视化图表完成了对TCP/IP协议网络流量进行储存和分析的设计。在Windows系统和Hadoop平台相结合的环境下进行了开发实现，结果表明：该系统能够解决恶意流量对网站或企业内网造成安全影响及网络资源占用的问题，具有可直接观测流量走势和存储大小可扩展的优势。

关键词：Hadoop；网络安全；恶意流量；网络流量分析

Abstract

Inordertosolvetheproblemthattheuserexperienceandnetworksecurityareaffectedbythemalicioustrafficintheprocessofnetworkuse,anetworktrafficanalysissystemisdesigned.ThedesignofTCP/IPnetworktrafficstorageandanalysisiscompletedbyusingthemethodofofflinedataanalysis,Hadoopecosystem,WireSharkcapturingmessagetoolanddatavisualizationchart.Theresultsshowthatthesystemcansolvetheproblemsofmalicioustrafficcausingsecurityimpactonwebsitesorintranetsandoccupyingnetworkresources.Ithastheadvantagesofdirectobservationoftraffictrendsandscalabilityofstoragesize.

Keywords：Hadoop；Networksecurity；Malicioustraffic；Networktrafficanalysis

目录

TOC\o1-2\h\u第一章课题绪论 1

1.1研究背景和意义介绍 1

1.2网络流量及网络攻击 1

1.3研究现状 3

1.4论文结构安排 3

第二章相关背景技术 5

2.1系统开发工具 5

2.2Hadoop生态圈相关技术的简要介绍 5

第三章需求分析 9

3.1可行性分析 9

3.2安全性分析 9

3.3系统功能分析 10

3.4数据流量图 10

第四章概要设计 13

4.1系统各层设计 13

4.2数据库设计 18

第五章算法实现 22

5.1协议占比算法和宽带使用占比算法 22

5.2协议长度算法 23

第六章系统测试 25

6.1Hadoop生态组件启动测试 25

6.2数据库连接测试 27

第七章总结 28

参考文献 29

致谢 30

广东东软学院本科生毕业设计（论文）

PAGE

PAGE31

第一章课题绪论

1.1研究背景和意义介绍

近年来，互联网的发展速度一年比一年快，与此同时，网络流量每天都处于快速增长的状态，网络的规模和结构也变得日渐庞大且复杂，而面对采样时间的增加，数据存储量和计算量与日俱增，需要有一些有效工具可以对其进行管理。此时，对于海量网络流量数据的收集存储和统计分析已成为一个急需解决的问题。除此之外，近年来还有一个涉及面很广泛的问题值得我们留意，那便是网络安全。大多数情况下，网络安全性问题都是人为引起，攻击者总是试图获得某些好处，这样的网络安全事件已经越来越多，慢慢地在各个领域渗透，并逐渐影响受害者的正常生活，比如个人信息被盗取、网站遭受攻击等，严重的还会破坏公共设施甚至是危害国家的某些重要系统，假如是后者，那带来的经济损失更是不可估量，同时还会严重影响社会的繁荣稳定。

不论是个人还是企业，甚至是国家，我们都应该重视网络安全，重视“大数据隐私”。当前社会，对于网络流量的储存和分析已经越来越重要了，而对于统计出来的流量进行安全检测和分析更是一个重要的环节，就以网站来举例，对网站分析时我们会不断从网站上获取最新的流量数据，而在这过程中我们其实就已经对网站做了一个初步的监控，我们可以上实时地了解网站的网络流量变化，并通过相关