爬虫大作业－－以importnew网站为例.pdfVIP

爬⾍⼤作业－－以importnew⽹站为例 1.选⼀个⾃⼰感兴趣的主题或⽹站。(所有同学不能雷同) 2.⽤python编写爬⾍程序，从⽹络上爬取相关主题的数据。 import requests from bs4import BeautifulSoup from datetimeimport datetime import re import pandas #将⽂章的正⽂内容保存到⽂本⽂件。 def writeNewsDetail(content): f = open(books.txt,a,encoding=utf-8) f.write(content) f.close() #⼀篇⽂章的全部信息 def getBooksDetail(pageurl): resd = requests.get(pageurl) resd.encoding =utf-8 soupd = BeautifulSoup(resd.text,html.parser) books={} books[title] = soupd.select(.entry-header)[0].text