用Python分析哪些公司的数据分析岗值得去.docVIP

用Python分析哪些公司的数据分析岗值得去 讲道理，pyspider确实是一款优秀的爬虫框架，我们可以利用它快速方便地实现一个页面的抓取。 不过带来便捷性的同时，也有它的局限性，复杂页面不好爬取。 在本次的数据爬取中，BOSS直聘是成功使用pyspider。但拉勾网却不行，因为拉勾网的数据是Ajax加载的。 拉勾网岗位数据请求的网址是不变的，改变的是表单数据，表单数据随着页数改变，请求方式为POST。这里没办法在pyspider里用循环遍历来获取每一页的数据。 也许是我对pyspider框架了解的不够，还达不到得心应手。所以最后拉勾网的爬取，采用平常的办法，在PyCharm中自行编写程序。