Python爬虫入门教程01之爬取豆瓣Top电影.pdf

Python爬爬⾍⾍⼊⼊门门教教程程01之之爬爬取取⾖⾖瓣瓣Top电电影影

前前⾔⾔

本⽂的⽂字及图⽚来源于⽹络,仅供学习、流使⽤,不具有任何商业⽤途,如有问题请及时联系我们以作处理

基本开发环境

Python3.6

Pycharm

相关模块的使⽤

requests

parsel

csv

安装Python并添加到环境变量，pip安装需要的相关模块即可。

爬爬⾍⾍基基本本思思路路

⼀⼀、、明明确确需需求求

爬取⾖瓣Top250排⾏电影信息

电影名字

导演、主演

年份、国家、类型

评分、评价⼈数

电影简介

⼆⼆、、发发送送请请求求

Python中的⼤量开源的模块使得编码变的特别简单，我们写爬⾍第⼀个要了解的模块就是requests。

请求url地址，使⽤get请求，添加headers请求头，模拟浏览器请求，⽹页会给你返回response对象

#模拟浏览器发送请求

importrequests

url=https://mov/top250

headers={

User-Agent:Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/81.0.4044.138Safari/537.36

}

response=requests.get(url=url,headers=headers)

print(response)

200是状态码，表⽰请求成功

2xx（成功）

3xx（重定向）

4xx（请求错误）

5xx（服务器错误）

常见状态码

200-服务器成功返回⽹页，客户端请求已成功。

302-对象临时移动。服务器⽬前从不同位置的⽹页响应请求，但请求者应继续使⽤原有位置来进⾏以后的请求。

304-属于重定向。⾃上次请求后，请求的⽹页未修改过。服务器返回此响应时，不会返回⽹页内容。

401-未授权。请求要求⾝份验证。对于需要登录的⽹页，服务器可能返回此响应。

404-未找到。服务器找不到请求的⽹页。

503（服务不可⽤）服务器⽬前⽆法使⽤（由于超载或停机维护）。

通常，这只是暂时状态。

三三、、获获取取数数据据

importrequests

url=https://mov/top250

headers={

User-Agent:Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/81.0.4044.138Safari/537.36

}

response=requests.get(url=url,headers=headers)

print(response.text)

requests.get(url=url,headers=headers)请求⽹页返回的是response对象

response.text：获取⽹页⽂本数据

response.json：获取⽹页json数据

这两个是⽤的最多的，当然还有其他的

apparent_encodingcookieshistory

iter_linesokclose

elapsedis_permanent_redirectjson

raise_for_statusconnectionencoding

is_redirectlinksraw

contentheadersiter_content

nextreasonurl

四四、、解解析析数数据据

常⽤解析数据⽅法：正则表达式、css选择器、xpath、lxml…

常⽤解析模块：bs4、parsel…

我们使⽤的是parsel⽆论是在之前的⽂章，还是