python爬虫实战一之爬取糗事百科段子_光环大数据 python培训机构.pdfVIP

光环大数据--大数据培训人工智能培训 Python 爬虫实战一之爬取糗事百科段子_光环大数据 Python 培训机构 1.确定 URL 并抓取页面代码 首先我们确定好页面的 URL 是 /hot/page/1， 其中最后一个数字 1 代表页数，我们可以传入不同的值来获得某一页的段子内容。 我们初步构建如下的代码来打印页面代码内容试试看，先构造最基本的页面 抓取方式，看看会不会成功 12345678910111213141516# -*- coding:utf-8 -*-import urllibimport urllib2page = 1url = ‘/hot/page/’ + str(page)try: request = urllib2.Request(url) response = urllib2.urlopen(request) print response.read()except urllib2.URLError, e: if hasattr(e,“code”): print e.code if hasattr(e,“reason”): print e.reason 运行程序，哦不，它竟然报错了，真是时运不济，命途多舛啊 123line 373, in _read_statusraise BadStatusLine(line)httplib.BadStatusLine: ” 好吧，应该是 headers 验证的问题，我们加上一个 headers 验证试试看吧， 将代码修改如下 1234567891011121314151617# -*- coding:utf-8 -*-import urllibimport urllib2page = 1url = ‘/hot/page/’ + str(page)user_agent = ‘Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)’headers = { ‘User-Agent’ : user_agent }try: request = urllib2.Request(url,headers = headers) response = urllib2.urlopen(request) print response.read()except 光环大数据 光环大数据--大数据培训人工智能培训 urllib2.URLError, e: if hasattr(e,“code”): print e.code if hasattr(e,“reason”): print e.reason 嘿嘿，这次运行终于正常了，打印出了第一页的 HTML 代码，大家可以运行 下代码试试看。在这里运行结果太长就不贴了。 2.提取某一页的所有段子 好，获取了 HTML 代码之后，我们开始分析怎样获取某一页的所有段子。 首先我们审查元素看一下，按浏览器的 F12，截图如下 我们可以看到，每一个段子都是div class=”article block untagged mb15″ id=”„”„/div包裹的内容。 现在我们想获取发布人，发布日期，段子内容，以及点赞的个数。不过另外 注意的是，段子有些是带图片的，如果我们想在控制台显示图片是不现实的，所 以我们直接把带有图片的段子给它剔除掉，只保存仅含文本的段子。 所以我们加入如下正则表达式来匹配一下，用到的方法是 re.findall 是找 寻所有匹配的内容。方法的用法详情可以看前面说的正则表达式的介绍。 好，我们的正则表达式匹配语句书写如下，在原来的基础上追加如下代码 123456content = response.read().decode(‘utf-8’)pattern = pile(‘div.*?class=”author.*?.*?a.*?/a.*?a.*?(.*?)/a. *?div.*?class’+ ‘=”co