高性能网络爬虫：研综述.pdfVIP

第 36卷 第 8期 计 算 机 科 学 Vo1．36No．8 2009年 8月 Computer Science Aug2009 高性能网络爬虫：研究综述 周德懋 李舟军 (北京航空航天大学计算机学院 北京 100191) 摘 要 网络爬虫是一种 自动下栽网络资源的程序 ，是搜索引擎的基础构件之一。系统地介绍了网络爬 虫的工作原 理和发展现状，详细地阐述了一个高性能、可伸缩、分布式的网络爬虫的系统架构和所面临的关键 问题。 关键词 网络爬虫，高性能，可伸缩，分布式 SurveyofHigh—performanceW ebCrawler ZHOUDe-nlao LIZhou-jun (SchoolofComputerScienceandEngineering，BeihangUniversity，Beijing100191，China) Abstract W ebCrawlers，oneofbasiccomponentsofSearchEngine，areprogramstodownloadresourcesfrom Internet． W eilluminatedtheworktheoryoftheW ebCrawlers，anditsdevelopment，andhow otdesignahigh-performance，scala ble，distributedW ebcrawler，includingthefacedkeyproblem． Keywords Crawler，High-performance，Scalability 之间的交互，也是一个重要议题。(3)“礼貌”爬行。Crawler 1 引言 不能在短时间内大数据量地集中访问同一个主机下的网页， 信息社会的飞速发展使互联网的容量达到一个空前的高 否则会影响普通用户对其的访问，进而可能被对方限制访问。 度。Google宣称它们索引的网页数 目已达到 i0000亿[1，中 (4)可定制性。可根据不同的爬行任务 (例如 Blog，BI)和特 国的网页规模也超过了100亿 ¨】，这对搜索引擎提出了更高 定的主题定制相应 的功能模块，使功能插件化，打造个性化 的要求 。搜索引擎的性能指标主要有 3个 ：首先考虑的是规 Crawler。 模的大小，只有规模达到一定的数量级，搜索结果才能更好地 2 研究现状 满足用户；其次是性能，搜索引擎必须在一个较短的时间内完 成对 目标网络的信息搜集，同时能够在用户可容忍的时间段 斯坦福 大学 设计 了用 于 Google的爬 虫_6]。早 期 的 内完成搜索结果的反馈；最后是搜索的质量，能够去掉信息重 Google爬虫系统由5个模块处理不同的任务。一个 URL服 复的网页，对一些无用信息进行过滤，能够准确返回用户想要 务器从磁盘文件读 URL列表并将其转发到Crawler上。每 的结果 。 个Crawler单独运行在一 台机器上，采用单线程异步 10方 作为搜索引擎的基础构件之一，网络爬虫 (Crawler)直接 式，一次维持300个连接并行爬行。Crawler将网页传输到存 面向互联网，它是搜索引擎的数据来源，决定着整个系统的内 储服务器上压缩并保存。索引进程从 HTML页面中抽取链 容是否丰富、信息能否得到及时更新。它的性能表现直接影 接并存放在不同的文件中。一个 URL解析器读取这些链接