爬虫入门小总结.pdfVIP

华院数据 高怡宁 大 纲 1、新浪微博爬虫概览 1） 主要内容和结果说明 2 ） 主要步骤和本地保存文件截图 2、基本工具的使用：urllib2、beautifulsoup、regex 和HttpFox、Firebug 等 1）urllib2： a) urllib2 的基本用途、主要函数：urlopen、request、urlencode b) 如何post 数据、cookie 的设置、headers 的设置 c) 浏览器插件简介 2 ）beautifulsoup： a) Bs 的安装、基本用途 b) Bs 的基本语句和常见问题 c) 其他格式的数据怎么处理： json 、JavaScript 3 ）regex： a) 正则表达式的基本用途 b) Re 模块的基本语句 4 ）异常和处理方式 a) try….except b) HTTP 异常码 5 ）文件读写创建等常用操作 6 ）关于编码问题 7 ）运用以上工具实现一个基本的网页抓取 例子：抓取失信名单 3、关于抓微博数据的经验 1）模拟登陆 2 ）程序设计 3 ）常见问题 1 华院数据 高怡宁 一、新浪微博爬虫概览 从一个起始用户开始，爬取 （1）主页、头像信息；（2 ）前五页的粉丝关注列表；（3 ） 所有微博内容、发表时间 （4 ）提取每条微博中at、转发、评论、点赞的用户。根据这个起 始用户爬到的所有关系用户，遍历这些关系用户的相同内容。 一共提取了三级网络，共5 万多名用户的信息。 一些步骤和结果展示： 图一：用户主页和使用浏览器插件定位源代码 图二： 本地保存的点文件和边文件 2 华院数据 高怡宁 图三：用户10503 的相关用户信息列表 图四：用户基本信息及其相关用户中受教育比例，就业比例信息 3 华院数据 高怡宁 图五：微博列表和每页微博的保存 二、基本工具的使用 （1）urllib2 urllib2 是python 的一个获取url （Uniform Resource Locators，统一资源定址器）的模块。 它用 urlopen 函数的形式提供了一个非常简洁的接口。这使得用各种各样的协议获取url 成 为可能。 注意，urllib 和urllib2(python3 已经合并成一个了)都是接受URL 请求的相关模块，但是 提供了不同的功能。因此urllib 也常和urllib2 一起使用。  urlopen 下面是一个最简单的urllib2 的应用： 上面这四行代码将我们访问百度时浏览器收到的代码们全部打印了出来。我们可以用浏 览器打开百度主页，右击，选择查看源代码，会发现也是完全一样的内容： 4 华院数据 高怡宁 除了http:，URL 同样可以使用ftp:，file:等等来替代。 HTTP 是基于请求和应答机制的：客户端提出请求，服务端提供应答