Java开源爬虫WebCollector搭建及使用手册.docxVIP

Maven： Maven ： 爬虫内核：WebCollector 致力于维护一个稳定、可扩的爬虫内核，便于开发者进行灵活的二次开发。内核具有很强的扩展性，用户可以在内核基础上开发自己想要的爬虫。源码中集成了 Jsoup ，可进行精准的网页解析。2.x 版本中集成了 selenium ，可以处理 JavaScript 生成的数据。GitHub地址：/CrawlScript/WebCollectorWebCollector 是一个无须配置、便于二次开发的 Java 爬虫内核： WebCollector 致力于维护一个稳定、可扩的爬虫内核，便于开发者进行灵活的 二次开发。内核具有很强的扩展性，用户可以在内核基础上开发自己想要的爬虫。 源码中集成了 Jsoup ，可进行精准的网页解析。2.x 版本中集成了 selenium ， 可以处理 JavaScript 生成的数据。 GitHub 地址： /CrawlScript/WebCollector 二、WebCollector部署 最新 Maven 地址请参考文档： /CrawlScript/WebCollector/blob/master/README.md 内核构架图： WebCollector 2.x 版本特性： 1. 自定义遍历策略，可完成更为复杂的遍历业务，例如分页、AJAX 1. 自定义遍历策略，可完成更为复杂的遍历业务，例如分页、AJAX 可以为每个 URL 设置附加信息(MetaData) ，利用附加信息可以完成很多复杂业务，例如深度获取、锚文本获取、引用页面获取、POST 参数传递、增量更新等。 使用插件机制，用户可定制自己的 Http 请求、过滤器、执行器等插件。 内置一套基于内存的插件（RamCrawler) ，不依赖文件系统或数据库，适合一次性爬取，例如实时爬取搜索引擎。 内置一套基于 Berkeley DB（BreadthCrawler) 的插件：适合处理长期和大量级的任务，并具有断点爬取功能，不会因为宕机、关闭导致数据丢失。 集成 selenium ，可以对 JavaScript 生成信息进行抽取 可轻松自定义 http 请求，并内置多代理随机切换功能。 可通过定义http 请求实现模拟登录。 使用 slf4j作为日志门面，可对接多种日志 使用类似Hadoop 的Configuration 机制，可为每个爬虫定制配置信息。