纵横中文网数据采集与分析.pdf

湖南商务职业技术学院毕业设计

目录

1引言1

1.1项目背景1

1.2开发环境与工具1

1.2.1python简介1

1.2.2BeautifulSoup简介2

1.2.3Pandas简介2

1.2.4Matplotlib简介3

1.2.5Mysql简介3

1.2.6json简介3

1.2.7PyMySQL简介3

1.2.8requests介绍4

1.2.9jieba介绍4

1.2.10wordcloud介绍4

2竞争分析5

2.1竞争性分析5

2.2采集目标功能分析5

2.3关键技术分析6

2.3.1网络爬虫技术6

2.3.2数据存储技术6

2.3.3可视化技术6

3数据采集7

3.1采集页面分析7

3.2编程实现9

3.3发送请求爬取数据10

3.4找出需要的字段10

3.5连接MySQL11

4数据清洗与处理13

I

湖南商务职业技术学院毕业设计

4.1数据清洗说明13

4.2编程实现14

4.3运行程序14

5数据统计与分析15

5.1数据准备15

5.2数据分析与展示16

5.2.1展示小说热词16

5.2.2统计各类型小说连载字数平均值17

6设计小结21

II

湖南商务职业技术学院毕业设计

纵横中文网数据采集与分析

1引言

随着21世纪中国的网络技术自改革开放以后，网络逐渐开始普及随着生

活水平的提高网络和电话一样也成为了家庭和学习的必备品，这就为网络语言

网络交流网络化体系的进一步完善奠定了基石，网络小说可以说是传统文学小

说的另一类，但是也属于其中的一个外延的形式，那么在各个领域深入同化，

并不断的交流融合的过程中，文化语言借助网络平台成为一种新的语言大趋势

已经来临，网络语言就是新的时代的语言和新兴小说的主力军。

1.1项目背景

随着互联网技术的飞速发展和人们生活水平的提高，网络小说行业迎来了

蓬勃发展的黄金时期！有统计表明，截至2021年6月，我国网络文学用户规

模为4.61亿，占网民总数的45.6%，年新增签约作品约200万部，各文学网站

日均更新字数超1.5亿，全年累计新增数字超500亿。2020年中国网络文学市场

规模达249.8亿元，累计创作网络文学作品2905.9万部，网文作者累计超

2130万人，IP的改编量为8059部。这些统计数据未必精确，但有一点可以确

定，无论是网站作品存量还是年度作品增量，我国的网络文学都居于增长高

位，已经是一种时代“现象级”文学形式，并且是当今传统文学低迷期唯一的

文学“增长极”，本项目主要对纵横中文网网站的小说作家和小说类型进行数

据采集和数据分析。通过深入的了解和观察当代网民喜欢的小说类型和作家，

从而更直观的体现网络小说的发展情况。

1.2开发环境与工具

1.2.1python简介

20世纪80年代末,荷兰的龟叔（GuidoRossum）创造了Python。Python创

建的初期并没有引起大