字 “婴儿级” 爬虫图文教学 手把手教你用Python爬取 “实习网”！.docxVIP

3000字 “婴儿级” 爬虫图文教学 | 手把手教你用Python爬取 “实习网”！ 这篇文章，是特地为那些 刚学习 Python爬虫的伴侣，而特地预备的文章。期望你看过这篇文章后，能够清楚的晓得整个 爬虫流程。从而能够 独立自主 的去完成，某个简约网站的数据爬取。 好了，我们就开头整个 “爬虫教学” 之旅吧！ 2. 页面分析 ① 你要爬取的网站是什么？ 首先，我们应当清楚你要爬去的网站是什么？ 由于这里我们想要爬取的是 “实习网” 中的数据，因而我们可以打开这个网站看看（如图所示）。 网站链接：/search/index? 由于我们想要爬取 “数据分析” 岗位的数据。因而，直接在输入框输入数据分析即可。 这里是我们要的最终页面链接。????待爬取链接： /search/index?key=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90 观看下图，可以清楚看到有哪些数据，下面还有页面信息。我们需要了解这些： 一个页面中共有多少条数据。这个很重要，后面可以帮你检查，能否爬取到了每个页面的全部信息。 图中显示的是 “一级页面” 中的信息，点击任意一个 “岗位名”，会自动跳转到 “二级页面”。以点击 “数据分析实习生” 为例，原来二级页面是这样的。 ② 你要爬取页面上的哪些信息？ 这里我们猎取的不只要一级页面中的信息，还有二级页面中的信息。 在一级页面中（如图所示），我们猎取到的有 “公司名”、“岗位名”、“公司地址”、“学历”、“薪资”。 在二级页面中（如图所示），我们猎取到的有 “岗位需求”、“公司类型”、“公司规模”。 好了，这里一共有8个数据，是我们要猎取的数据，这就是我们的 “爬虫目的”。 ③ 页面是 “静态网页”，还是“动态网页”？ 假如你恳求某个网页，网页的信息是一次性给你的，那么它就是 “静态网页”。 假如你恳求某个网页，网页中的信息，随着你鼠标往下滑动，而渐渐呈现出来，那么它就是 “动态网页”，即 “Ajax技术”。 那么它们的区分就在于： 静态网页中的数据，是一次性给你。动态网页中的数据，是随着页面一步步加载出来，而逐渐呈现的，也就是你用静态网页的爬虫技术，无法猎取到里面全部的数据。 这里有一个很好 “检验” 是静态网页还是动态网页的方法，我给大家引见一下 。 点击 “鼠标右键”，点击 “查看网页源代码”。 最终效果如下（部分截图）： 这其实就是你恳求这个网页，最终前往给你的信息。你要爬取的数据，假如在里面都能找到，大致可以推断是 “静态网页”，假如找不到，大致可以考虑是 “动态网页”。 怎样查找呢？ 在上述页面，可以点击 “ctrl + f”，调出搜索框（如图所示），你将网页中的数据，粘贴进来，看看能否都能被搜索到。 当然，今日这堂课是小白教程，确定教你的是一个 “静态网页”。但是没关系呀，这些学问你都晓得了。 3. 如何定位数据 在正式写代码之前，你确定要晓得，你想要用哪种方式，来帮你解析数据。常见的Python爬虫解析数据的方法有：re正则表达式、xpath、beautifulsoup、pyquery等。 本文黄同学接受的将会是xpath解析法。 好了，我们接着就来定位数据吧！ 点击 “鼠标右键”，再点击 “审查元素”。【或者直接按电脑上的F12键】 此时，会消灭如下页面。 这其实是一个 “桥梁”，挂念我们建立起 “网页” 与 “源代码” 之间的关系定位。 那么，应当怎样使用它呢？（观看下图三个步骤） 首先，单击①处。接着，光标指向你要定位的数据（②）。此时，在③处，他回自动跳转到你想要定位的数据，在源码中的位置。 这个对于我们写代码超极有挂念，也是最基本的操作。 关于怎样解析数据，我就不在具体说明。由于，这也不是今日这篇文章能够讲清楚的。 今日我就是想让你把握 “爬虫技术” 的流程。因而，接下来我会为大家叙述整个代码的爬虫思路。 4. 爬虫代码讲解 这里我将会分步为大家讲解整个爬虫流程，这种文章只写这一篇，刚学Python的伴侣，肯定要看哦！ ① 导入相关库 import?pandas?as?pd?#?用于数据存储import?requests?#?用于恳求网页import?chardet?#?用于修改编码import?re?#?用于提取数据from?lxml?import?etree?#?解析数据的库import?time?#?可以粗糙模仿人为恳求网页的速度import?warnings?#?忽视代码运转时候的警告信息warnings.filterwarnings(ignore) ② 恳求一级页面的网页源代码 url?=?/search/index?key=数据分析districts=education=0full_opportunity=0stage=0pr