python爬虫实战二之爬取百度贴吧帖子_光环大数据 python培训机构.pdfVIP

光环大数据--大数据培训人工智能培训 Python 爬虫实战二之爬取百度贴吧帖子_光环大数据 Python 培训机构 1.URL 格式的确定 首先，我们先观察一下百度贴吧的任意一个帖子。 比如：/p/3138733512?see_lz=1pn=1，这是一个 关于 NBA50 大的盘点，分析一下这个地址。 1234http:// 代表资源传输使用 http 协议 是百度的二 级域名，指向百度贴吧的服务器。/p/3138733512 是服务器某个资源，即这个帖 子的地址定位符 see_lz 和 pn 是该 URL 的两个参数，分别代表了只看楼主和帖子 页码，等于 1 表示该条件为真 所以我们可以把 URL 分为两部分，一部分为基础部分，一部分为参数部分。 例如，上面的 URL 我们划分基础部分是 /p/3138733512，参数部分是 ?see_lz=1pn=1 2.页面的抓取 熟悉了 URL 的格式，那就让我们用urllib2 库来试着抓取页面内容吧。上一 篇糗事百科我们最后改成了面向对象的编码方式，这次我们直接尝试一下，定义 一个类名叫 BDTB(百度贴吧)，一个初始化方法，一个获取页面的方法。 其中，有些帖子我们想指定给程序是否要只看楼主，所以我们把只看楼主的 参数初始化放在类的初始化上，即 init 方法。另外，获取页面的方法我们需要 知道一个参数就是帖子页码，所以这个参数的指定我们放在该方法中。 光环大数据 光环大数据--大数据培训人工智能培训 综上，我们初步构建出基础代码如下： 123456789101112131415161718192021222324252627282930__author__ = ‘CQC’# -*- coding:utf-8 -*-import urllibimport urllib2import re#百度 贴吧爬虫类 class BDTB: #初始化，传入基地址，是否只看楼主的参数 def __init__(self,baseUrl,seeLZ): self.baseURL = baseUrl self.seeLZ = ‘?see_lz=’+str(seeLZ) #传入页码，获取该页帖子的代码 def getPage(self,pageNum): try: url = self.baseURL+ self.seeLZ + ‘pn=’ + str(pageNum) request = urllib2.Request(url) response = urllib2.urlopen(request) print response.read() return response except urllib2.URLError, e: if hasattr(e, “reason”): print u “连接百度贴吧失败,错误原因”,e.reason return NonebaseURL = ‘/p/3138733512’bdtb = BDTB(baseURL,1)bdtb.getPage(1) 运行代码，我们可以看到屏幕上打印出了这个帖子第一页楼主发言的所有内 容，形式为 HTML 代码。 3.提取相关信息 1）提取帖子标题 首先，让我们提取帖子的标题。 在浏览器中审查元素，或者按 F12，查看页面源代码，我们找到标题所在的 代码段，可以发现这个标题的 HTML 代码是 1h1 class= “core_title_txt “title= “纯原创我心中的NBA2014-2015 赛季现役 50 大” style= “width: 396px”纯原创我心中的 NBA2014 –2015 赛 季现