Python3：一个简单入门的微博网络爬虫.pdfVIP

精品课程 中国IT职业教育领先品牌 全程面授 网络上有很多关于 Python 网络爬虫 ，但大都是 Python2版本 ，而 Python3 的 版本较少 ，如果有也会经常有不明就里的错误。因此小编综合了多个来源程序 ， 终于亲测成功 ，仅以此分享给需要的朋友。 前期准备 本来是想用 PC端 Sina Weibo API 来获取微博内容 ，但现在新浪微博规定限制 太多。一下是注意事项 该项规定出台 ，导致你只能爬自己的最新的 5条记录 ，这有什么用 ，因此果断放 弃。改为爬取移动端的微博 ，因为移动端的微博可以分页爬取 ，这就可以一次爬 取所有微博内容 ，这就方便很多。 打开移动端微博 网址是 ：https// ；浏览器使用的是 ：Chrome。 千锋教育 精品课程 中国IT职业教育领先品牌 全程面授 用自己账号登陆 请用自己的账号登陆 ，登陆后 ，按 F12 ，会出现以下内容 千锋教育 精品课程 中国IT职业教育领先品牌 全程面授 找到 --Headers--Cookie ，把 cookie复制到代码中的#your cookie处,待用。 获取你要爬取的用户 ID 方法是打开用户微博主页 ，里边有一个 u/XXXXXX(一串数字) ；这串数字就是该 用户的ID。 以范冰冰为例 ，uid=3952070245 前期工作已经准备完成 ，后边开始撸代码了。 载入需要 Python模块 Python需要的模块如下 ，这部分不是重点 ，因此就不细讲 ，大家可以搜索一下 如何下载相关模块。简单的就是 pip install 模块名。或者从官网上下载模块 ， 本地安装。 千锋教育 精品课程 中国IT职业教育领先品牌 全程面授 输入用 ID和设置 Cookie 本次爬取的是范冰冰原创微博 （因此转发的不在此列 ），cookie请大家使用自 己的地址。另外 pageNum是总共页数 ，范冰冰截止目前为 56页。urllist_set 储存爬取的 url地址。 千锋教育 精品课程 中国IT职业教育领先品牌