30个Python爬虫的实战项目（附源码）.docx

30个Python爬虫的实战项目(附源码)

Python爬虫技术是数据分析和网络自动化的重要工具。今天咱们一起来看

看30个实用的Python爬虫项目，从简单到复杂，保证你能学到真本事。

网页内容提取

爬虫入门得先学会从网页里提取内容。这儿有几个小项目，保准让你上手就

能用：

1.豆瓣电影Top250

这个项目简单实用，适合新手练手：

•••

1importrequests

2frombs4importBeautifulSoup

3

4url=https：///top250

5response=requests.get(url)

6soup=BeautifulSoup(response.text，html.parser)

7

8formovieinsoup.find_all(div，class_=item)：

9title=movie.find(span，class_=title).text

10rating=movie.find(span，class_=rating_num).text

11print(f{title}：{rating})

这段代码能把豆瓣电影Top250的片名和评分抓出来。requests库用来

发送HTTP请求，BeautifulSoup则负责解析HTML。

温馨提示：爬取网站时要遵守robots.txt规则，别给人家服务器造成太大

压力。

2.知乎热门话题

知乎的热门话题变化快，用爬虫抓取能及时掌握热点：

•••

1importrequests

2fromlxmlimportetree

3

4url=https：///hot

5headers={User-Agent：Mozilla/5.0...}#记得填写完整

的User-Agent

6response=requests.get(url，headers=headers)

7

8html=etree.HTML(response.text)

9topics=html.xpath(//div[@class=“HotItem-content”]/h2/te

xt())

10

11fortopicintopics：

12print(topic)

这回咱们用了lxml库来解析HTML。它比BeautifulSoup快，但语法稍

微复杂点。

数据存储

抓到数据后，得把它存起来。这儿有几个存储数据的项目：

3.存储到CSV

CSV格式简单易用，适合存储表格型数据：

•••

1importcsv

2importrequests

3frombs4importBeautifulSoup

4

5url=http：//

6response=requests.get(url)

7soup=BeautifulSoup(response.text，html.parser)

8

9quotes=[]

10forquoteinsoup.find_all(span，class_=text)：

11quotes.append(quote.text)

12

13withopen(quotes.csv，w，newline=)asfile：

14writer=csv.writer(file)

15writer.writerow([Quote])

16forquoteinquotes：

17writer.writerow([quote])

这段代码把名言网站的内容爬下来，存成了CSV文件。用Excel打开就能

看。

4.存储到MongoDB

要是数据结构复杂，用MongoDB这种文档型数据库更合适：

•••

1importpymongo

2importrequests

3

4client=pymongo.MongoClient(mongodb：//localhost：27017/)

5db=client[weather_db]

6col