Python网络爬虫基础：求模块与URL编码实践.pdfVIP

DAY01

主要内容:

介绍爬虫概述,请求模块request,URL地址编码模块中的编码与,

重点:

request请求模块的使用,urlencode以及e编码的使用

网络爬虫概述

定义

网络蜘蛛(网络蜘蛛)、网络机器人(网络机器人)，抓取网络数据的程序，其实就是用Python程序模仿人点

击浏览器并，而且模仿的越像越好，让Web站点无法发现你不是人

数据抓取的目的

1、公司项目测试数据

2、公司业务部门及其他部门所需数据

3、数据分析

企业获取数据的方式

1、公司自有数据

2、第数据平台(tushare,数据堂、贵阳大数据)

3、爬虫爬取数据

Python做爬虫优势

1、Python：请求模块、解析模块丰富成熟，强大的Scrapy网络爬虫框

架2、PHP：对多线程、异步支持不太好3、JAVA：代码笨重，代码量大4、

C/C++：虽然效率高，但是代码成型慢

爬虫分类

1、通用网络爬虫(搜索引擎使用,遵守robots协议)robots协议:通过robots协议告诉搜索引擎哪些页

面可以抓取,哪些页