央视新闻网站数据分析与展示.pdfVIP

湖南商务职业技术学院毕业设计

目录

1引言1

1.1项目背景1

1.2开发环境与工具2

1.2.1Python简介2

1.2.2MySQL简介3

1.2.3Jypyternotebook简介3

2需求分析4

2.1可行性需求分析4

2.2采集目标功能分析4

2.3关键技术分析5

2.3.1网络爬虫技术5

2.3.2文件存取技术6

2.3.3可视化技术6

3数据采集7

3.1采集页面分析7

3.2字段分析8

3.3编程实现9

4数据清洗与处理10

4.1数据清洗10

4.2数据储存10

4.3编程实现11

5数据统计与分析12

5.1数据准备12

5.2数据展示13

5.2.1依据国内新闻数据进行统计和分析13

5.2.2依据国际新闻数据进行统计和分析14

5.2.3依据法治新闻数据进行统计和分析15

I

湖南商务职业技术学院毕业设计

5.2.4依据社会新闻数据进行统计和分析16

5.3综述16

6小结17

参考资料18

II

湖南商务职业技术学院毕业设计

央视新闻网站数据分析与展示

1引言

岁月如梭，光阴飞逝，距离上一次科技革命已过去多年，电子和信息技术普

及应用开启了第五次科技革命之门，而随着互联网技术的普及和移动互联网的

发展，全球正处于半个世纪以来的又一次重大技术周期之中，进入21世纪以来，

全球科技创新进入了空前密集活跃的时期，新一轮科技革命和产业变革正在重

构全球创新版图、重塑全球经济结构。以人工智能、量子信息、移动通信、物

联网、区块链为代表的新一代信息技术加速突破应用。

信息技术的飞速发展也让人们不停接受各式各样的、海量的信息数据，而如

此众多方面各异的数据也让人眼花缭乱，不能准确了解到自己需要的信息，这

个时候，如何对这海量的数据进行开发、分析成为关键的一环。所以大数据技

术也应运而生成为信息技术领域一大热门分支。通过大数据技术，我们能采集

到各类数据，并能将海量的数据储存在系统之中，而原始的数据价值很低，需

要我们对数据进行处理，而处理后的数据即可对有需要的人提供相关服务，这

就是大数据技术。

1.1项目背景

自然界主要依靠信息的传递而自成体系，而人类社会则通过信息传递的路径

实体化，而形成最基本的社会结构，无论是远古时代的结绳时纪，还是现代社

会的大众媒体，信息的传播从根本上推动了人类社会的发展。而新闻传播作为