Lec.02-垂直爬虫的设计与实现(1).pdfVIP

信息检索与搜索引擎 陈若愚 计算机学院 垂直爬⾍的设计和实现 北京信息科技⼤学 TOC ❖ 常见开源爬⾍⼯具 ❖ 开源爬⾍⼯具WebMagic介绍 ❖ 如何使⽤WebMagic编写爬⾍ 常见开源爬⾍⼯具-Nutch ❖ Java语⾔开发。由Apache软件基⾦会管理。与Apache基 ⾦会其他项⽬如Lucene、Tika等结合很好 ❖ Nutch 1.2 是⼀个完整搜索引擎。Nutch 1.7是⼀个⽹络爬 ⾍，以HDFS为后端。从2.x版本开始，⽀持Hadoop、 HBase、Cassandra、MongoDB、Solr等作为后端。 ❖ 可扩展性⾮常好：设计⽬标是每⽉抓取⼏⼗亿⽹页 ❖ / 最新版本2.3.1 [2016.01.21发 布] Nutch 的特点／问题 ❖ ⾮常成熟和稳定 ❖ 完全分布式架构，与Hadoop相关项⽬结合较为紧密 ❖ ⾯向通⽤搜索引擎 ❖ 对于垂直搜索引擎来说：太过重量级，定制难度⼤，难 以实现精细的页⾯分析 常见开源爬⾍⼯具-Heritrix ❖ Java语⾔开发。由互联⽹档案馆(Internet Archive)开发维 护。 ❖ 设计⽬的是对互联⽹⽹页进⾏归档，可扩展性很好，提 供基于Web页⾯的管理界⾯ ❖ /internetarchive/heritrix3 ，最新版 本3.2.0 [2014.01.10发布] 常见开源爬⾍⼯具-Scrapy ❖ Python语⾔开发 ❖ 创建⼀个Scrapy项⽬ ❖ 定义提取的Item ❖ 编写爬取⽹站的 spider 并提取 Item ❖ 编写 Item Pipeline 来存储提取到的Item( 即数据) ❖ /scrapy/scrapy 最新版本1.0.5 课后阅读 ❖ Nutch快速⼊门 (Nutch 2.2.1) ❖ http://cn.soulmachine.me/blog ❖ 利⽤ Heritrix 构建特定站点爬⾍ ❖ /developerworks/cn/opensource/ os-cn-heritrix/ ❖ Scrapy⼊门教程 ❖ /zh_CN/latest/intro/ tutorial.html WebMagic ❖ 为什么选择WebMagic ？ ❖ 开源：/code4craft/webmagic ❖ 短⼩精悍，结构清晰，架构设计参照了Scrapy ❖ 国⼈开发，⽂档完备：http://webmagic.io/docs/zh/ 通⽤爬⾍ WebMagic WebMagic 的组成 ❖ Downloader: 负责下载页⾯，在Apache HttpClient的基 础上实现 ❖ PageProcessor: 负责解析页⾯，抽取有⽤信息，发现新 的链接。WebMagic使⽤Jsoup作为HTML解析⼯具，并 基于其开发了解析XPath的⼯具Xsoup 。每个站点每个页 ⾯的PageProcessor都不⼀样，需要使⽤者定制。 WebMagic 的组成（续） ❖ Scheduler: 负责管理待抓取的URL ，以及⼀些去重的⼯ 作。WebMagic默认提供了JDK 的内存队列来管理URL ， 并⽤集合来进⾏去重。也⽀持使⽤Redis进⾏分布式管 理。 ❖ Pipeline: 负责抽取结果的处理，包括计算、持久化到⽂ 件、数据库等。WebMagic默认提供了“输出到控制台”和 “保存到⽂件”两种结果处