十次方人工智能开发v1.0--第1章.pdf

第1章- 网络爬虫框架Webmagic 学习目标： 1 谈谈网络爬虫 1.1 什么是网络爬虫 ​ 在大数据时代，信息的采集是一项重要的工作，而互联网中的数据是海量的，如果单纯 靠人力进行信息采集，不仅低效繁琐，搜集的成本也会提高。如何自动高效地获取互联网 中我们感兴趣的信息并为我们所用是一个重要的问题，而爬虫技术就是为了解决这些问题 而生的。 ​ 网络爬虫 （Web crawler）也叫做网络机器人，可以代替人们自动地在互联网中进行数 据信息的采集与整理。它是一种按照一定的规则，自动地抓取万维网信息的程序或者脚 本，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方 式。 ​ 从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。爬虫从一个或若干初始 网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新 的URL放入队列,直到满足系统的一定停止条件。 1.2 网络爬虫可以做什么 我们初步认识了网络爬虫，网络爬虫具体可以做什么呢？ 可以实现搜索引擎 大数据时代，可以让我们获取更多的数据源。 快速填充测试和运营数据 为人工智能提供训练数据集 1.3 网络爬虫常用的技术 （J ava ） 北京市昌平区建材城西路金燕龙办公楼一层 电话：400-618-9090 1.3 网络爬虫常用的技术 （J ava ） 1.3.1 底层实现 HttpClient + J soup ​ HttpClient 是 A pache J akarta Common 下的子项目，用来提供高效的、最新的、功能 丰富的支持 HTT P 协议的客户端编程工具包，并且它支持 HTT P 协议最新的版本和建议。 HttpClient 已经应用在很多的项目中，比如 A pache J akarta 上很著名的另外两个开源项目 Cactus 和 HT MLUnit 都使用了 HttpClient 。更多信息请关注/ ​ j soup 是一款J ava 的HT ML解析器，可直接解析某个URL地址、HT ML文本内容。它提供 了一套非常省力的A PI，可通过DOM，CSS 以及类似于j Query 的操作方法来取出和操作数 据。 1.3.2 开源框架 Webmagic ​ webmagic是一个开源的J ava爬虫框架，目标是简化爬虫的开发流程，让开发者专注于 逻辑功能的开发。webmagic的核心非常简单，但是覆盖爬虫的整个流程，也是很好的学习 爬虫开发的材料。 ​ webmagic的主要特色： 完全模块化的设计，强大的可扩展性。 核心简单但是涵盖爬虫的全部流程，灵活而强大，也是学习爬虫入门的好材料。 提供丰富的抽取页面A PI。 无配置，但是可通过POJ O+注解形式实现一个爬虫。 支持多线程。 支持分布式。 支持爬取j s动态渲染的页面。 无框架依赖，可以灵活的嵌入到项目中去。 2 爬虫框架Webmagic 北京市昌平区建材城西路金燕龙办公楼一层