Python爬虫环境搭建：Windows下配置Pip、PhantomJS与Selenium.pdfVIP

准备深入学习Python相关的爬虫知识了，如果说在使用Python

爬取相对正规的网页使用urllib2+BeautifulSoup+正则表达式

就能搞定的话；那么动态生成的信息页面，如Ajax、JavaScript等就

需要通过Phantomjs+CasperJS+Selenium来实现了。所以先

从安装和功能介绍，后面在介绍一些Python相关的爬虫应用。

一.介绍

PhantomJS

PhantomJS是一个服务器端的JavaScriptAPI的WebKit

（开源的浏览器引擎）。其支持各种Web：DOM处理,CSS

选择器,JSON,Canvas和SVG。PhantomJS可以用于页面自动化，

网络，网页截屏，以及面测试等。

Selenium

Selenium是一个用于Web应用程序测试的工具。Selenium

测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览

器包括IE(7、8、9)、MozillaFirefox、MozillaSuite等。这个工具

的主要功能包括：测试与浏览器的兼容性、测试系统功能，它

ThoughtWorks专门为Web应用程序编写的一个验收测试工具。

PIP

在介绍介绍它们之前，需要安装PIP软件。正如xifeijian大神

所说：“作为Python者，如果不知道easy_install或者pip中

的任何一个的话，那么”。

easy_insall的作用和perl中的cpan，ruby中的gem类似，

都了一键安装模块的傻瓜方便方式，而pip是easy_install

的改进版，更好的提示信息，删除package等功能。老版本的

python中只有easy_install，没有pip。常见的具体用法如下：

[in]viewincopy

1.easy_install的用法：

2.1）安装一个包

3.$easy_installpackage_name

4.$easy_installpackage_name==version

5.2)升级一个包

6.$easy_install-Upackage_name=version

7.

8.pip的用法

9.1)安装一个包

10.$pipinstallpackage_name

11.$pipinstallpackage_name==version

12.2)升级一个包(如果不version号，升级到版本）

13.$pipinstall--upgradepackage_name=version

14.3）删除一个包

15.$pipuninstallpackage_name

二.安装PIP

PS：你可以使用easy_installpip直接安装pip软件，这更加

方便。

第一步：PIP软件

可以在下

载，同时cd切换到PIP目录，在通过pythonsetup.pyinstall安

装。而我采用的是pip-Win_1.7.exe进行安装，地址如下：

windows

第二步：安装PIP软件

当提示pipandvirtualenvinstalled表示安装成功，那怎么

测试PIP安装成功呢？

第三步：配置环境变量

此时在cmd中输入pip指令会提示错误“不是或外部命

令”。

所以需要添加path环境变量。PIP安装完成后，会在Python

安装目录下添加python\Scripts目录，即在python安装目录的

Scripts目录下，将此目录加入环境变量