基于特定域名的Deep Web爬虫的设计与Ruby实现.docVIP

  基于特定域名的 Deep Web 爬虫的设计与 Ruby 实现 王少岩* 5 10 15 20 25 30 35 40 （北京邮电大学网络与交换技术国家重点实验室，北京 100876） 摘要：目前越来越多网站的内容是传统的搜索引擎无法获取到的，比如说社交网站和微博客 等，这些网站的大部分信息不仅需要用户登录之后才能访问，而且还有很多是动态内容，只 有在用户交互的情况下才能获取到，论文总结了 Deep Web 网站的特点，并且给出了获取这 些内容的解决方案；论文还提出了一个基于多物理机或者虚拟机的分布式爬虫框架，并且定 向爬取了一个社会化问答网站。实验结果表明本论文提出的爬虫框架为定向爬取 Deep Web 的学术研究和应用提供了一定的参考价值。 关键词：计算机应用；Deep Web；定向爬虫；Ruby 中图分类号：TP31 Design and Ruby Implementation of Domain-specific Deep Web Crawler WANG Shaoyan (State Key Lab of Networking and Switching Technology, Beijing University of Post and Telecommunication, Beijing 100876) Abstract: More and more web content can not be retrieved by traditonal search engines, such as social network sites and micro-blog service which only can be accessed after login, and there are lots of dynamic pages which can display in the case of user interactions. The paper summarizes the characteristics of Deep Web sites, and gives the solution to access them. The paper also proposes a distributed crawler framework based on multiple physical or virtual machines, and give an example which climbs a social question answering (QA) site directly. Results show the domain-specific crawler framework provides reference value for research and related applications. Keywords: Computer Applications; Deep Web; Domain-specific crawler; Ruby 0 引言 整个 WWW（World Wide Web）的页面有两部分构成：Surface Web 和 Deep Web（或 者叫做 Invisible Web, 或者叫做 Hidden Web）[1]。前者通过 HTML 标签互相连接起来，可以 被传统的搜索引擎收录和索引；后者 Deep Web 主要存在于动态生成的网站，传统的搜索引 擎没有办法发现这些内容，因为它们往往是一个特定的查询动态生成的。据调查[2]，目前这 些在线的动态数据库已经达到了 2500 万，可以分为以下两类[3]：（1）私有 Web，往往需要 注册和登录才能看到，比如论文中研究的社会化搜索网站 Quora[4]，它的很多内容都是只有 用户通过验证登录之后才能获取到的；（2）动态内容[5]，这些动态页面往往需要用户执行 某一个操作之后才会产生，比如用户进行一次查询后服务器返回的类目列表，或者是想要查 看更多内容时点击“获取更多”按钮返回的信息等。因此，如何在不侵犯网站隐私的情况下， 获取 Deep Web 的内容是已经是一件很有挑战性的工作，在进行学术研究时，往往需要对一 些网站的用户结构和分布进行分析，如何有效的获取这些信息，如何快速的用脚本语言搭建 一个健壮稳定的爬虫框架，将是本文主要探讨的内容。接下来我们分成四个部分来阐述论文 的主要工作：第一章对网站 Quora 的基本结构和特点进行分析，介绍了 Deep Web 网站的主 作者简介：王少岩，（1989-），男，硕士，主要研究方向：社会化搜索。 E-mail: stufever@ -1-   要特点，第二章讲述了爬虫