快期刊文学网数据采集与分析.pdf

湖南商务职业技术学院毕业设计

目录

1引言1

1.1项目背景1

1.2开发环境与工具2

1.2.1Python简介2

1.2.2JupyterNotebook简介2

1.2.3Python第三方库简介2

2需求分析4

2.1可行性需求分析4

2.2采集目标功能分析4

2.3关键技术分析5

2.3.1网络爬虫技术5

2.3.2文件存取技术6

2.3.3可视化技术6

3数据采集7

3.1采集页面分析7

3.2字段分析8

3.3编程实现8

4数据清洗与处理10

4.1数据清洗10

4.2数据储存10

5数据统计与分析12

5.1数据准备12

5.2数据展示13

5.2.1期刊级别统计和占比分析13

5.2.2发行周期和审稿周期统计与分析14

5.2.3期刊收录数统计和分析15

5.2.4主办单位统计与分析16

I

湖南商务职业技术学院毕业设计

5.3统计分析小结16

6总结17

参考资料18

II

湖南商务职业技术学院毕业设计

快期刊文学网数据采集与分析

1引言

随着现代社会科技的飞速发展，数字经济大数据时代的到来，数据的价值

在日常生活中的各个领域都在不断地得到提升，充斥着我们的生活，同时也受

大数据的影响，从小方面的手机APP页面的推荐，购物的软件首页推荐，到大

方面城市的交通，全国的经济形势分析以及前段时间全国处于疫情严重期间时

等等，大数据就是这样以长期、大量、多样化的模式对数据进行采集、处理、

判断分析，所分析出来的信息就涉及到了我们生活的方方面面，给我们的生活

变得更高效也带来了许多的便利。

对于目前社会现状而言，在学习、工作、出行以及消费等所产生的效果是

非常明显的，大数据技术已经很普遍，而且可以看出在这些方面发挥展现出来

的影响之大，互联网和大数据结合起来将会对未来有着很大的发展，大数据时

代也可能在以后衍生出一些新的概念、新的内涵或是新的技术从而变成新时代

的标志。

1.1项目背景

文学期刊是文章需要在某一领域或者某一学科通过数据去研究，具有实验

性且是定期或者不定期的连续出版的刊物。从爱看书的人来说，阅读是非常热

衷的，常常能在文章中了解到更多自身所认知范围之外的知识和见解，刊期的

时间发行那更是尤为看重。

对于刊物而言，在网站上更多的就是要做到发行和推广，使其得到影响力

和知名度。所以这就得获取快期刊网站各个期刊的每项数