分布式网络数据包索引存储系统分析-analysis of distributed network data packet index storage system.docxVIP

摘要随着网络技术的飞速发展，全球网络数据流量逐年高速增长，在现今大数据时代，网络数据的价值尤为重要。提供网络服务的企业或提供商、金融机构、具有高度安全性要求的数据中心等大型机构越来越关注于这样的一些强大工具，它们能够将网络数据进行存档并且可以方便进行事后分析。然而需要存储的网络信息是非常庞大的，如何将这庞大的数据进行存储并组织好方便用于之后的安全分析是个非常重要的，并且具有挑战性的问题。网络数据的数量庞大，其存储需要大量的存储空间，如何解决如此庞大的存储需求是一个难题。本文利用分布式结构，通过将大量廉价的计算机组合在一起构成一个庞大的存储空间。满足存储需求只解决了一方面问题，庞大的数据存储在计算机，如何将其组织以便用户可以方便使用是本文要解决的另一难题。本文采用索引技术对数据进行组织，有了索引的数据库可以大大加快对数据的访问。针对网络数据信息的多维性，本文采用位图索引。因此，本文实现了一个基于位图索引的，针对网络数据包的，分布式的，快速索引存储系统。在系统中，有两个重要概念blobs和tags，它们负责系统中的数据的分布、复制、持久、寻址以及访问。利用该系统可以将捕获的网络数据包中包含的一些重要信息截取下来，依据这些重要信息建立其位图索引；采用内存映射的方法对数据进行加工存储；整个系统基于MapReduce的编程模型；存储的信息可添加副本分布于整个分布式系统的不同服务器上，增强系统的可靠性；系统中的服务器可随意加入和离开，使得系统具有良好的扩展性；系统中的各服务器端都可以进行独立插入和查询操作，很好地支持多用户。本文使用几台较为低端配置的计算机实现了本系统，使用从真实网络中捕获的网络数据包对本系统进行了性能测试，测试实验得到了较好的结果：单台计算机的插入速率大约每秒30,000条记录，查询效率大约每秒5,000,000条记录；N台计算机并行执行时，其效率为单台计算机效率的N倍。关键词：网络数据包；位图索引；分布式；大数据AbstractWiththerapiddevelopmentofnetworktechnology,theglobalnetworkdataflowhasincreasedrapidlyinrecentyearsandmayincreasemorequicklyinthefuture.Intoday’sbigdataera,thevalueofflowdataisparticularlyimportant.Enterpriseandserviceprovidernetworks,financialinstitutions,thedatacenterwithhighsecurityrequirementspaymoreandmoreattentiontosometools,thesetoolscanarchivenetworktra?cinformationforposthocanalysis.However,archivednetworktra?cinformationisverylarge,howtoorganizethebigdataforsecurityanalysisisaveryimportantmatterandabigchallenge.Networkdataneedsalotofstoragespace,itisaproblemthathowtosolvesuchalargestoragerequirements.Inthispaper,wethinkaboutusingdistributedstructure,makingalargenumberofcheapcomputerstogethertoconstituteahugestoragespace.Tosatisfythelargestoragerequirementsjustonlysolvestheproblemontheonehand,ontheotherhand,thereisanotherproblemthathowtoorganizethehugedatatomakeuserscaneasilyaccessit.Inthispaper,wedecidetoadopttheindextechnologyfordataorganization,withtheindexdatabaseaswellasthedirectoryofthedictionary,itcangreatlyacceleratetheprocessionofaccessingtodata.Basedonthemultidimensionofnetworkdata,inthispaperweusethebitmapindex.Accordingtotheabove