基于Python的招聘网站爬虫及可视化的设计与实现.docxVIP

基于Python的招聘网站爬虫及可视化的设计与实现

基于Python的招聘网站爬虫及可视化的设计与实现全文共1页，当前为第1页。

基于Python的招聘网站爬虫及可视化的设计与实现全文共1页，当前为第1页。

目录

TOC\o1-3\h\u摘要 I

Abstract II

引言 1

第1章课题概述 2

1.1课题内容 2

1.2课题背景 2

1.3课题意义 3

1.4运行环境 3

1.5相关技术 3

1.5.1Python语言 3

1.5.2Flask框架 4

1.5.3ECharts图表库 4

1.5.4Jieba库 5

1.5.5Pysql包 5

1.6本章小结 5

第2章系统设计 6

2.1设计思想 6

2.2需求分析 6

2.3系统可行性分析 7

2.4功能设计 7

2.4.1系统功能结构 7

2.4.2系统功能模块设计 8

2.4.3系统流程图 9

2.5数据库设计 9

基于Python的招聘网站爬虫及可视化的设计与实现全文共2页，当前为第2页。2.6本章小结 10

基于Python的招聘网站爬虫及可视化的设计与实现全文共2页，当前为第2页。

第3章系统实现 11

3.1岗位信息爬取模块设计 11

3.2数据库的连接及使用 13

3.2.1连接数据库 13

3.2.2数据概览数据库查询 13

3.2.3学历情况数据库查询 14

3.2.4企业情况数据库查询 15

3.2.5薪资情况数据库查询 16

3.3数据可视化设计 16

3.3.1福利词云设计 16

3.3.2柱状图和折线图 18

3.3.3矩形树图 19

3.3.4饼图 20

3.4可视化展示 20

3.4.1数据概况 20

3.4.2薪资情况 20

3.4.3企业情况 22

3.4.4福利情况 22

3.4.5学历情况 23

3.5本章小结 23

第4章功能测试 24

4.1测试内容 24

4.2测试结果 25

4.3本章小结 25

结论 26

致谢 27

参考文献 28

PAGE

PAGEI

基于Python的招聘网站爬虫及可视化的设计与实现全文共3页，当前为第3页。基于Python的招聘网站爬虫及可视化的设计与实现

基于Python的招聘网站爬虫及可视化的设计与实现全文共3页，当前为第3页。

摘要：现在，随着互联网网络的飞速发展，人们获取信息的最重要来源也由报纸、电视转变为了互联网。互联网的广泛应用使网络的数据量呈指数增长，让人们得到了更新、更完整的海量信息的同时，也使得人们在提取自己最想要的信息，过滤掉对自己无用的信息时变得不那么容易，对于应聘者也是如此。由于招聘网站的日益流行，也使得应聘网站成为了应聘者找工作的主要平台。在面对着大量的招聘信息时，就业者不能一目了然的获取自己想要的招聘信息，因此我们需要对海量的招聘数据进行处理，做出一种招聘信息的分析系统。在此基础上本文介绍了基于Python的招聘网站的爬虫及可视化的设计与分析过程中的技术线路。

本招聘网站的爬虫及可视化使用Python语言编写，使用基于Flask的轻量级Web应用框架，数据库使用MySQL，使用ECharts进行数据可视化部分的显示。对数据的爬取使用的Requests进行爬取数据，本次爬取的招聘网站为拉勾网搜索关键词为Java、Python、Php的招聘信息，拉勾网具有较强的反爬虫机制，采用Cookie形式进行封装，再进行数据的获取。在MySQL数据库中存储爬取的招聘信息，用Pymysql包连接MySQL数据库将查询的数据使用ECharts框架展示到网页。

通过本系统可以用户可以了解到职位的信息概况、薪资分布情况、企业主要招聘城市情况和企业的规模分布、职位的福利待遇和对应聘者的学历要求，工作经验的要求。

关键词：Python爬虫；数据可视化；招聘网站

PAGEII

PAGEII

基于Python的招聘网站爬虫及可视化的设计与实现全文共4页，当前为第4页。DesignandImplementationofRecruitmentWebsiteCrawlerandVisualizationBasedonPython

基于Python的招聘网站爬虫及可视化的设计与实现全文共4页，当前为第4页。

Abstract:Withthe