基于网络爬虫的招聘网站数据分析.docxVIP

基于网络爬虫的招聘网站数据分析　　 【摘要】 随着互联网的高速发展，人才招聘已经发生了翻天覆地的变化，人们的难题已经不再是如何获取信息了。人们可以通过互联网在网上搜索大量的招聘信息，而如此大量的信息需要耗费用户不少时间。 本文通过Scrapy框架爬取前程无忧招聘网站的数据并存储在Mysql　　数据库中，同时在爬取时对数据进行初步的清洗，也在爬取后进行数据的二次清洗，最后对网站中的职位进行分析，从工作地点、工作经验要求、工作薪资、学历水平、岗位数量等方面进行分析。将分析结果以柱形图、饼图、词云图、条形图等图形进行展示。让招聘者提前感受到招聘岗位的相关数据是否符合自己预期，进而提升求职者找到心仪工作岗位的效率，在求职的过程中有一个良好的体验。 【关键词】 Scrapy 招聘 数据分析 可视化 引言 　　临近毕业之际，不少应届生面临着要升学还是出社会工作，在职的工作人员也会考虑到转行业的问题，求职者也希望在这浩瀚如烟的网络招聘市场可以找到一份适合自己的工作，为了能够深入了解我国现如今的招聘市场生态，并分析我国如今的各省份和市场上现有岗位的在薪资等方面的差异。现对前程无忧网进行数据上的整合分析，让求职者在找工作时可以找到自己喜欢的城市和工作同时也提高了效率，减少时间成本。同时可以了解到现如今市 场的热门行业，也可为高中毕业生、在读大学生等对自己未来感到迷茫、不知从事何种职业的人提供小小建议。 第1章 绪论 1.1 项目的背景与意义 　　现如今，随着社会的高速发展，1969年诞生的互联网已经渗透到人们生活的方方面面，同时也给人们的生活带来了巨大的便利。网络技术在各个行业、各个领域都有举足轻重的地位。回想过往，企业发布招聘信息的路径过于单一，都是通过贴公告、发传单的方式进行，时效性低，求职人员找不到适合的工作，用人单位找不到的人才，造成损失。而且大量纸质的印刷会造成浪费不利于环保，影响市容市貌。而招聘网站的出现恰恰改变了这一局面，网站一定程度的反应了人才市场的需求，同时也明确写出了公司对于人才各方面的需求，同时也将该公司的一些基本信息放在网上，供求职人员参考。对比以往，现如今的网络招聘平台有着海量的信息，传统的求职方式已不再适合求职人员，难以找到合适的工作。而通过对网站职位进行数据分析有利于求职人员找到心仪的工作，大大减少求职人员的时间成本，也有助于提高效率。如何让求职人员快速的找到自己理想的工作职位，有必要通过图表的形式进行展示，让求职人员更直观的、更精确的获取关键的信息。 1.2 项目的目标 　　首先，使用基于Python编程语言开发的Scrapy爬虫框架，在前程无忧网上对职位的相关信息进行爬取，在爬取数据的过程中需要解决相关网站反爬机制、IP封禁、自动翻页爬取数据等一系列问题，确保所需数据能够正确且高效的爬取，并使用MySQL数据库创建相应的数据库和数据表，将爬取的数据存入到数据库中。 　　其次，需要对爬取下来的数据进行数据格式一致性检查、缺失值和无效值的处理等一系列的数据清洗操作，数据清洗操作分为两个阶段，第一阶段在数据爬取时进行，第二阶段在数据存入数据库后再进行，其最终目的都是为了得到可供分析的完整数据。 　　最终，从以下三个方面对数据进行分析：一、对全国的各个城市职位的薪资、学历、岗位数量、工作经验、公司福利、公司性质进行一个总体分析，得出现如今市场对于学历、工作经验等方面的要求。二、对网站中各个职位的薪资、学历、岗位数量、工作经验、公司福利、公司性质进行一个分析，得出现如今这个职位在哪个城市岗位最 多、薪资和工作经验等方面的关系。三、对全国各个省份的薪资、学历、岗位数量、工作经验、公司福利进行一个分析，得出现如今该省份的学历、工作经验等方面的关系。 第2章 需求分析 2.1 需求分析 2.1.1 项目需求 　　本文基于国内招聘网站——前程无忧，对我国（省份和现有岗位提供的职位信息进行分析，具体分析工作主要从以下三个方面展开： 　　1.对全国的各个城市职位的薪资、学历、岗位数量、工作经验、公司福利进行一个总体分析，得出现如今市场对于学历、工作经验等方面的要求。 　　2.对网站中各个职位的薪资、学历、岗位数量、工作经验、公司福利、公司性质进行一个分析，得出现如今这个职位在哪个城市岗位最多，薪资和工作经验等方面的关系。 　　3.对全国各个省份的薪资、学历、岗位数量、工作经验、公司福利等进行一个分析，得出现如今该省份的学历、工作经验等方面的关系。 2.1.2 软件环境需求 项目从设计到部署都在个人电脑上进行，所需要的软件环境如表2-1所示。 表2-1 软件环境 　　 　　 类别 名称 计算机系统 Windows10 项目运行环境 Python3.7版本 数据库 MySQL数据库8.0.21 数据库可视化工具 Navicate 数