基于GNP算法分布式爬虫调度策略.docVIP

基于GNP算法分布式爬虫调度策略 　　摘 要:针对分布式搜索引擎的任务调度及负载均衡问题,提出了基于GNP算法的分布式爬虫调度策略和负载均衡的方法。利用网络距离预估取代大规模的网络距离测量,不仅提高了系统的响应速度,还减少了系统对广域网造成的压力。通过在广域网上部署爬虫节点,构建分布式搜索引擎,应用该调度策略进行实验,验证了系统性能有较大提高。 　　关键词:分布式爬虫; 任务调度; 负载均衡; 网络测量; 全局网络定位 　　中图分类号:TP309 　　文献标志码:A 　　 　　文章编号:1001-3695(2010)02-0446-04 　　doi:10.3969/j.issn.1001-3695.2010.02.011 　　 　　GNP-based scheduling strategy for distributed crawling 　　 　　LIU Shuang??1??, JIANG Chun-xiang2, ZHANG Wei-zhe??1??, LI Dong??1??, ZHANG Hong??3?? 　　 　　(1.School of Computer Science Technology, Harbin Institute of Technology, Harbin 150001, China; 2.Heilongjiang Branch of National Computer Network Emergency Response Technical Team/Coordination center of China, Harbin 150001, China; 3.National Computer Network Emergency Response Technical Team/Coordination Center of China, Beijing 100029, China) 　　 　　Abstract:In order to solve task scheduling and load balancing problems of distributed search engines, this paper proposed a GNP-based scheduling strategy for distributed crawling and a load balancing method. Adopted internet distance estimating mechanism as a replacement for large-scale network distance measurement, which not only improved response time of the system, but also reduced WAN pressure caused by the system. Through deploying crawling nodes at WANs, built a distributed search engine, and implemented several scheduling strategies. The online experiment shows great improvement in system’s performance. 　　Key words:distributed crawling; scheduling strategies; load balancing; network measurement; GNP(global network positioning) 　　 　　0 引言 　　目前搜索引擎遇到的瓶颈问题在很大程度上是由其集中式结构造成的,一般的商用搜索引擎只有一个或多个大的数据中心,在本地执行全部的网页下载和索引工作。即使是地理上分布的搜索引擎,各个分系统之间也不能实现信息共享。受网络基础条件等方面的限制,随着网站数目与规模的迅速膨胀,集中式搜索系统逐步会被分布式搜索系统取代。分布式搜索引擎在广域网上部署爬虫节点,其优势主要表现在:a)分散系统的网络负载,同时在多个地理位置上工作的爬虫分别分担系统的网络总负载;b)减小对广域网增加的负载,选择最优的爬虫抓取网页,将会大大减少由于网页数据在广域网上路由造成的对广域网的负载;c)分布式地存储大规模数据,尤其是索引数据[1,2]。 　　如何将被获取站点调度至网络距离较近爬虫,同时保证系统负载均衡是分布式搜索引擎调度系统的重要研究内容。GNP算法[3]通过将网络主机间的网络距离映射为欧几里德空间的坐标距离,可以有效地