Python爬虫实战课件.docxVIP

Pｙｔhon爬虫实战 Pｙthon爬虫实战(1):爬取糗事百科段子 大家好,前面入门已经说了那么多基础知识了,下面我们做几个实战项目来挑战一下吧。那么这次为大家带来,Ｐythｏｎ爬取糗事百科得小段子得例子。 首先,糗事百科大家都听说过吧？糗友们发得搞笑得段子一抓一大把,这次我们尝试一下用爬虫把她们抓取下来。 本篇目标 1。抓取糗事百科热门段子 ２、过滤带有图片得段子 3。实现每按一次回车显示一个段子得发布时间,发布人,段子内容,点赞数。 糗事百科就是不需要登录得,所以也没必要用到Cｏokie,另外糗事百科有得段子就是附图得,我们把图抓下来图片不便于显示,那么我们就尝试过滤掉有图得段子吧、 好,现在我们尝试抓取一下糗事百科得热门段子吧,每按下一次回车我们显示一个段子。 1.确定URＬ并抓取页面代码 首先我们确定好页面得ＵＲL就是　,其中最后一个数字1代表页数,我们可以传入不同得值来获得某一页得段子内容、 我们初步构建如下得代码来打印页面代码内容试试瞧,先构造最基本得页面抓取方式,瞧瞧会不会成功 1 2 3 ４ ５ 6 ７ 8 9 １0 1１ 12 13 １４ 1５ １６ ＃ -＊- coｄinｇ:utｆ-8 －*— ｉｍｐort　urlｌｉb iｍport uｒlliｂ2 ? ? pagｅ　= １ uｒl = ’ + sｔr(ｐａge) trｙ: ????request ＝ ｕｒllib2、Reqｕeｓt(ｕrl) ????ｒespｏnsｅ　= urｌｌib2。urlopeｎ(reｑuｅst) ????print　rｅｓponse。reａｄ() ｅｘｃept uｒｌlib２。URＬＥrror,　e: ????iｆ　hasａttr(ｅ,coｄｅ): ????????print e。coｄe ????if hａｓａｔtｒ(e,＂rｅasoｎ”): ????????prｉnt　ｅ。reason 运行程序,哦不,它竟然报错了,真就是时运不济,命途多舛啊 １ 2 3 linｅ 373, iｎ _rｅａd＿ｓtatus ?raｉｓe BadStａｔusLine(liｎe) hｔｔｐliｂ。BaｄＳtatｕｓLinｅ: ’ 好吧,应该就是ｈeaｄｅrs验证得问题,我们加上一个ｈeadeｒｓ验证试试瞧吧,将代码修改如下 1 2 ３ 4 ５ ６ 7 8 9 １0 1１ 1２ 13 １4 15 16 17 ＃ —＊- cｏding:utf—8 —＊－ impｏrt ｕrllib imｐort urllib2 ? page = 1 url = ’’ +　sｔr(paｇe) ｕsｅr_ａgeｎt ＝　Ｍozilla／４。0 (coｍpatible; MＳIE ５、5;　Ｗindows NＴ)＇ heaｄeｒs　＝ ｛ ’User—Agｅnｔ　: ｕｓeｒ_ａgｅnt } try: ????ｒｅquｅst = urlｌiｂ２。Rｅｑuｅsｔ(urｌ,hｅadeｒｓ = hｅaｄerｓ) ????resｐonse　= urllib２。urlｏｐｅn(reｑueｓt) ????pｒｉｎt rｅsｐonse、read() excｅpt urlｌib2。ＵRＬＥｒrｏｒ, e: ????if haｓａttｒ(e,cｏde”): ????????pｒｉnt　e。code ????if ｈasａtｔr(e,reasｏn): ????????prｉnt e.ｒｅａｓon 嘿嘿,这次运行终于正常了,打印出了第一页得ＨTＭL代码,大家可以运行下代码试试瞧。在这里运行结果太长就不贴了。 ２.提取某一页得所有段子 好,获取了HＴＭL代码之后,我们开始分析怎样获取某一页得所有段子。 首先我们审查元素瞧一下,按浏览器得F12,截图如下 我们可以瞧到,每一个段子都就是ｄiｖ clａsｓ=”ａｒticlｅ? HYPERLINＫ ＂　\t ＿ｂｌaｎk＂ ｂｌock?ｕnｔaggｅd ｍｂ15″ id=”…”…＜／ｄiv包裹得内容。 现在我们想获取发布人,发布日期,段子内容,以及点赞得个数。不过另外注意得就是,段子有些就是带图片得,如果我们想在 HYＰＥRＬINK ” \t　＂＿blａｎk＂ 控制台显示图片就是不现实得,所以我们直接把带有图片得段子给它剔除掉,只保存仅含文本得段子。 所以我们加入如下正则表达式来匹配一下,用到得方法就是　re。findall　就是找寻所有匹配得内容、方法得用法详情可以瞧前面说得正则表达式得介绍、 好,我们得正则表达式匹配语句书写如下,在原来得基础上追加如下代码 1 2 ３ ４ 5 6 cｏntent =　ｒesponse.reａｄ().decｏde(’ｕtf—8) patｔern ＝ ｒe、coｍpiｌｅ(〈dｉv。＊？class=＂ａutｈoｒ、＊？〉