数据抓取平台设搭建与对等网络研究.pdfVIP

』E塞套遵太堂亟±堂垃途塞 虫塞擅墨 中文摘要 研究网络一种常用的方法是通过抓取网络“快照”来实现，对每一个“快照” 的分析可以反映网络的各方面特性，这些特性对于刻画网络特征具有重要的作用。 对一些连续的”快照”分析则可以反映各特性的动态变化情况；而抓取这些“快 照”一般需要用到专门的抓取平台。 在本文中，我们介绍了针对Gnutella网络的研究，设计实现的相关平台。采 控制端与工作端相结合的方式；优化方面，我们在软件、硬件和数据库三个部分， 通过比较实验，分别探讨了影响平台性能的因素；优化后的平台每台机器每分钟 连接关系、文件的详细信息以及文件节点的相关信息等等；通过与其他相关平台 的比较，得知平台抓取速率的瓶颈在于建立TCP连接对时间的消耗，对以后的设 计提出了相应建议。 我们利用在15个小时抓取的数据对网络特性进行了分析，得到了包括文件类 型、流行度及其动态分析，网络拓扑分布等几个方面的信息。最后对P2P网络污 染问题进行了简要介绍，对之前的污染检测标准提出了基于应用方面的改进，并 通过实验，得到了Gnutella网络中不存在大规模污染的结论。 关键词：P2P；平台；优化；污染；分布 分类号： 匙塞銮烫盘堂亟±堂焦绘塞 △堡S!基垒￡Z ABSTRACT：Acommonmethodto anetworkresearchisto thenetwork perform study canreflectmost ofthe characteristicsare snapshots，these aspects network,this to anetwork．Wecanalso the some dynamics importantmap get byanalyzing isneededtOcrawlthese sequentialsnapshots；aplatform snapshots． Inthis introducea thatisusedfortheGnutellanetwork．Thebasic paper,we platform is is inGnutella thehardware software theoryping／pongmessage protocol，and PC；the ofthe nlnsunder databaseis isamodification Gtk-gnutella,whichlinux；the mysql．We focusonthesethree to the and thefactorsthatinfluence aspectsmodifyplatformstudy the cancrawler and300 each in1 15，000 performance．We pongs peers computer can theinformationthe