Python3：爬取新浪、网易、今日头条、UC四大网站新闻标题及内容.pdfVIP

Python3：：爬爬取取新新浪浪、、⽹⽹易易、、今今⽇⽇头头条条、、UC四四⼤⼤⽹⽹站站新新闻闻标标题题及及

内内容容

Python3：：爬爬取取新新浪浪、、⽹⽹易易、、今今⽇⽇头头条条、、UC四四⼤⼤⽹⽹站站新新闻闻标标题题及及

内内容容

以爬取相应⽹站的社会新闻内容为例：

⼀⼀、、新新浪浪：：

新浪⽹的新闻⽐好爬取，我是⽤BeautifulSoup直接解析的，它并没有使⽤JS异步加载，直接爬取就⾏了。

新浪新闻：http://news./society/

Date

Author：lim

Description：获取新浪新闻

importrequests

frombs4importBeautifulSoup

fromurllibimportrequest

importsys

importre

importos

defgetNews(title,url,m):

Hostreferer={

User-Agent:Moilla/5.0(WindowsNT6.1;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/68.0.3440.106Safari/537.36

}

req=request.Request(url)

response=request.urlopen(req)

#过滤⾮utf-8的⽹页新闻

response=response.read().decode(utf-8,ignore)

soup=BeautifulSoup(response,lxml)

tag=soup.find(div,class_=article)

iftag==None:

return0

#获取⽂章发布时间

fb_date=soup.find(div,date-source).span.string

#获取发布⽹站名称

fb_www=soup.find(div,date-source).a.string

#获取⽂章内容

rep=pile([\s+\.\!\/_,$%^*(+\\]+|[+?、~*（）]+)

title=rep.sub(,title)

title=title.replace(:,：)

filename=sys.path[0]+/news/+title+.txt

withopen(filename,w,encoding=utf8)asfile_object:

file_object.write(fb_date++fb_www)

file_object.write(\n)

file_object.write(⽹址:+url)

file_object.write(\n)

file_object.write(title)

file_object.write(tag.get_text())

i=0

forimageintag.find_all(div,img_wrapper):

title_img=title+str(i)

#保存图⽚

#判断⽬录是否存在

if(os.path.exists(sys.path[0]+/news/+title)):

pass

else:

#不存在，则新建⽬录

os.mkdir(sys.path[0]+/new