林天宇用Python3学习编写网络爬虫(之一).docxVIP

PAGE \* Arabic 1 / NUMPAGES \* Arabic 1 林天宇用Python3学习编写网络爬虫 （之一：入门实践） 作者：林天宇 一、写在前面 1、本文适应的读者范围 会一点点Python的基本语法； 已经安装好了Python3和PyCharm； 网络爬虫新手 2、本文所使用的开发环境 Mac pro / iOS Python3 PyCharm 3、本文不纠结以下内容 为什么选择Python3而不是Python2？ 答：没什么特别原因，个人喜好。 如何安装Pyhon3？ 请查阅其他文档。 PyCharm是什么？为什么不用其他工具。 一个常用的Python开发工具，个人喜欢，可参阅其他文档。如果你不喜欢，你也可以用其他工具编码和调试。 二、快速开始 东北人有句话说：能动手，尽量不瞎叨叨。少些废话，快速开干。 1、新建项目和文件 启动PyCharm，“Create New Project”。 因为估计不需要到特别的框架，所以类型就默认地选择了“Pure Python”，名字就起成了“WebSpider”（我瞎命名的，就是觉得Spider比较帅气而已），然后“Create”如下图： 新建一个Python文件，命名为Spider001，毕竟也是我的第一只小爬虫嘛。 OK，到目前为止，已经新建一个名字叫做Spider001的Python空白文件了。 可以在项目等资源管理器中看到WebSpider项目下面，有一个Sider001.py的文件。我们接下来就对这个Sider001.py文件进行编辑和测试。 2、第一爬 先写代码，感受一下效果，找找成就感，然后再详细分析和思考。 代码如下： import urllib.request url = data = urllib.request.urlopen(url).read() data = data.decode(UTF-8) print(data) 然后，Run，选择Spider001.py，运行结果如下： 由上图可以见，运行正常，而且已经将百度的HTML代码获取到了（见运行窗口的第二行HTML代码）。百度心想，我也不知道倒了什么霉，你们爬虫测试的HelloWorld都喜欢拿我测试，无谓增加我压力。 那我们再回头来详细看看刚才的代码： #首先引入urllib库的request子库 import urllib.request #接着定义一个我们要爬取的变量叫url # 然后将我们要爬去的网址字符串值赋给url # 可怜的百度。 url = # 定义一个data变量，用来获取爬过来的字符串 # 下面是urllib的吧啦吧啦的用法，没什么好解释的。 # 它就是这么用的，记住就好了。 # 其中url是变量。 data = urllib.request.urlopen(url).read() # 编码，改变编码。 decode方法。 data = data.decode(UTF-8) # print打印出来结果。 print(data) # 程序结束 我们可以得出以下几点初学者的心得： 用到一个urllib的库。Urllib库及其子库的用法，官方文档如下： /3/library/urllib.html 其获取url其内容的方法为：urllib.request.urlopen(url地址).read() 将字符串本身使用decode(‘编码类型’)的方法后，可以重新编码 3、美女图片！美女图片！！ 都说美女是推动社会发展的重要因素，对美女的追求，也是推动我们宅男技术水平的重要因素。当年在学校机房里用486电脑DOS环境下，冒着被机房老师抓住的生命危险偷偷看舒淇的图片，确实对我当年的技术水平提升很大。 第一爬的过程中，只爬了一串HTML源代码，似乎新鲜劲很快就过去了，真正我们要爬的，是美女图美女图啊！ 网站美女图片站众多，我本想选择我最喜欢的BeautyLeg作为测试的网站，但是很遗憾，可能这个网站的服务器在其他地区，网络速度很慢，图片质量又高，所以每次运行时间都会比较长，不太适合我们前期作为边调试边学习用。所以暂时放弃，不过，美腿们，不要着急，我调试好后，再来爬去你们。不要着急，等我。 在此情况下，我随便百度了一个“美女图库”网站。真是百度的，一点广告费都没给的，美女图库。 这个网站也是典型的“三级”结构的网站。所谓“三级”结构（别想歪了），指的是： 我们先从最简单的开始，先将目标定在基础，也就是最详细这一级的内容开始爬取。 我们先点击网站链接，到达第三级的详细图（文）这一层网页。我们避开了需要登录和收费的会员专区的栏目，选择了“免费下载栏目”进入，具体的网址如下： 首页：/ 栏目页：/mingxing/ 内容页：/mingxing/2016.html 这个网站