Python爬虫入门：如何爬取招聘网站并进行分析.pdf

0 前言 工作之余，时常会想能做点什么有意思的玩意。互联网时代，到处都是互联网思维， 大数据、深度学习、人工智能，这些新词刮起一股旋风。所以笔者也赶赶潮流，买 了本 Python 爬虫书籍研读起来。 网络爬虫，顾名思义就是将互联网上的内容按照自己编订的规则抓取保存下来。理 论上来讲，浏览器上只要眼睛能看到的网页内容都可以抓起保存下来，当然很多网 站都有自己的反爬虫技术，不过反爬虫技术的存在只是增加网络爬虫的成本而已， 所以爬取些有更有价值的内容，也就对得起技术得投入。 1 案例选取 人有 1/3 的时间在工作，有一个开心的工作，那么 1/3 的时间都会很开心。所以我 选取招聘网站来作为我第一个学习的案例。 前段时间和一个老同学聊天，发现他是在从事交互设计（我一点也不了解这是什么 样的岗位），于是乎，我就想爬取下前程无忧网（招聘网_人才网_找工作_求职_上 前程无忧 ）上的交互设计的岗位需求： 2 实现过程 我这里使用 scrapy 框架来进行爬取。 2.1 程序结构 C:\Users\hyperstrong\spiderjob_jiaohusheji │scrapy.cfg │ └─spiderjob │ items.py │ pipelines.py │ settings.py │ __init__.py │ middlewares.py ├─spiders │ jobSpider.py │ __init__.py 其中：  items.py 是从网页抽取的项目  jobSpider.py 是主程序 2.2 链接的构造 用浏览器打开前程无忧网站 招聘网_人才网_找工作_求职_上前程无忧 ，在职务搜索 里输入“交互设计师”，搜索出页面后，观察网址链接： 【交互设计师招聘】前程无忧手机网_触屏版 /jobsearch/search_result.php?fromJs=1k eyword=%E4%BA%A4%E4%BA%92%E8%AE%BE%E8%AE%A1%E5%B8%88keywordty pe=2lang=cstype=2postchannel=0000fromType=1confirmdate=9 网址链接中并没有页码，于是选择第二页，观察链接: 红色标记的为页码，于是可以通过更改此处数字来实现从“第 1 页”到第 44 页“的 网页自动跳转。当然读者也可以通过网页内容抓取处下一页的链接进行自动翻页， 有兴趣的网友可以试下： 2.3 网页分析 我要抓取的几个数据分别是  职位名  公司名  工作地点  薪资  发布时间 截图如下，右侧是浏览器-开发者工具（F12）里查找的源代码，和网页对应查看： 2.4 数据字段：