webmagic使用手册.docxVIP

webmagic使用手册 webmagic是一个开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发。webmagic的核心非常简单，但是覆盖爬虫的整个流程，也是很好的学习爬虫开发的材料。 web爬虫是一种技术，webmagic致力于将这种技术的实现成本降低，但是出于对资源提供者的尊重，webmagic不会做反封锁的事情，包括：验证码破解、代理切换、自动登录等。 作者黄亿华( HYPERLINK /code4crafter@ \t _blank code4crafter HYPERLINK /zantesu \t _blank @ )曾经在前公司进行过一年的垂直爬虫的开发，webmagic就是为了解决爬虫开发的一些重复劳动而产生的框架。 webmagic的架构和设计参考了以下两个项目，感谢以下两个项目的作者： python爬虫 scrapy  HYPERLINK /scrapy/scrapy \t _blank /scrapy/scrapy Java爬虫 Spiderman  HYPERLINK /laiweiwei/Spiderman \t _blank /laiweiwei/Spiderman webmagic遵循 HYPERLINK /licenses/LICENSE-2.0.html \t _blank Apache 2.0协议，你可以自由进行使用和修改。有使用不便或者问题，欢迎在github HYPERLINK /code4craft/webmagic/issues \t _blank 提交issue，或者在 HYPERLINK /question \t _blank oschina讨论模块提问。 下载及安装 使用maven webmagic使用maven管理依赖，在项目中添加对应的依赖即可使用webmagic： dependency groupIdus.codecraft/groupId artifactIdwebmagic-core/artifactId version0.4.1/version /dependency dependency groupIdus.codecraft/groupId artifactIdwebmagic-extension/artifactId version0.4.1/version /dependency 项目结构 webmagic主要包括两个包： webmagic-core webmagic核心部分，只包含爬虫基本模块和基本抽取器。webmagic-core的目标是成为网页爬虫的一个教科书般的实现。 webmagic-extension webmagic的扩展模块，提供一些更方便的编写爬虫的工具。包括注解格式定义爬虫、JSON、分布式等支持。 webmagic还包含两个可用的扩展包，因为这两个包都依赖了比较重量级的工具，所以从主要包中抽离出来，这些包需要下载源码后自己编译： webmagic-saxon webmagic与Saxon结合的模块。Saxon是一个XPath、XSLT的解析工具，webmagic依赖Saxon来进行XPath2.0语法解析支持。 webmagic-selenium webmagic与Selenium结合的模块。Selenium是一个模拟浏览器进行页面渲染的工具，webmagic依赖Selenium进行动态页面的抓取。 在项目中，你可以根据需要依赖不同的包。 不使用maven 不使用maven的用户，可以下载附带二进制jar包的版本(感谢 HYPERLINK / \t _blank oschina)： git clone /flashsword20/webmagic.git 在bin/lib目录下，有项目依赖的所有jar包，直接在IDE里import即可。 第一个爬虫 定制PageProcessor PageProcessor是webmagic-core的一部分，定制一个PageProcessor即可实现自己的爬虫逻辑。以下是抓取osc博客的一段代码： public class OschinaBlogPageProcesser implements PageProcessor { private Site site = Site.me().setDomain() .addStartUrl(/flashsword/blog); @Override public void process(Pa