一种并行Crawler系统中的URL分配算法设计.pdfVIP

，-_-女女●★鼍 _·网络系统及应用·I 矗*l*_***孝 万源1。万方2，王大晨2 (1．武汉理工大学理学院，武汉4300705 2．湖北工业大学计算机科学技术系，武汉430068) E一Ⅱ_ail：w岬@mail．whllt．edll．cn 搞薹：研究了分布式体系蛄构下的并行Cmwler采集模型，分析丁各组件的功能厦各Crawler在并行搜索对．为保证摹 统的负载均衡而应遵循的基本规则．井提出了一种基于散列(ha8h)的uRL的调度算击。 关键词：分布式c珥wler；散列算法；URL分配 URL illP删lelC隐wler SchedlllingAlgorithm System WAN Da—zhe一 Y啪1．WANFan92．WANG ofscience，Wuhan (1．school Umven；时ofTechnol0盯，Wuh蚰430070，Chma； of 2．‰ulty seience，Hubei Compeer Univer岛畸of Abstract：This Cmwler M0delinthe f唧6吼of pap盱肿∞aIE嘛叩parallelfetchi“g di8吐buled舡dlitech辨，desc五be8 every and舯menll鹤w11ichcmwle糟must fb沁htheweb B c呷nent nbeywh哪ey mm岫ly．^IId，itde8igm H鹌hURL Scheduu唱ba8edal且耐tll札 Keywords：Dig晡bⅡted scheduling cmwl盱；ha暑lI蛔山m；uRL l引言 (2)URLP{Ir5盯： F血cl：阅读链接描述皿ch胛文件，并把相对URL转换成 分布式CraWler是指多十cIawler在网络上并行地进行 绝对URL，再转换成FiIeNum。 Web信息采集Ⅲ。在分布式Crdwl盯中一十非常重要的问题就 是各个C州wler如何按照一定的规则完成自已份内的工作．即 F蛐c2：为链接描述文本编制索引．并与它所指向的 搜索一定范围的URL。并进行页面处理．以保证每十CrawlerFileNum关联起来。 搜集的URL不会重复∞。本文将讨论散列(H鹊h)方法，并提出 Func3：建立由FihNum对组成的链接数据库。用于计算所 了一种改进的散列(Imh)算法。用于分布式Crawler系统进行 UBL的分配以厦各Cmwl盯的任务分工。以保证分布式系统的 in． 器舯咖r，再根据州ordm进行分类，建立反向索引inverted 负载均衡。 dex。 2并行Crawler体系结构 存储服务器S岫Node，URL从阿页中分析出时．就被分配一个 2．1整体架构 FileNum。 (4)S岫Node：压缩网页并把它们