Python基础与大数据应用第七章 Python爬虫基础.pptx

第七章 Python爬虫基础;;;;; 在网络爬虫的系统框架中，主要由控制器、解析器、资源库三部分组成。控制器的主要工作是负责给多线程中的各个爬虫线程分配工作任务；解析器的主要工作是下载网页，进行页面的处理，将一些JS脚本标签、CSS代码内容、空格字符、HTML标签等内容处理掉，爬虫的基本工作是由解析器完成；资源库是用来存放下载到的网页资源，一般都采用大型的数据库存储，如Oracle数据库，并对其建立索引。;;; urllib 库是Python3.X内置的 HTTP 请求库，是一个URL处理包。在Python2.X中，有urllib和urllib2两种库，到了Python3.X中，已经将这两个库统一为urllib库。 urllib库提供了四大模块： urllib.request请求模块，用来打开和读取URLs； urllib.parse解析模块，提供解析URLs的方法； urllib.error异常处理模块，包含一些由urllib.request产生的错误，可用try进行捕捉处理； urllib.robotparser模块用来解析robots.txt文本文件，它提供了一个单独的RobotFileParser类，通过该类提供的can_fetch()方法测试爬虫是否可以下载一个页面，在爬取网页数