凤凰网新闻类网站数据分析展示.pdf

湖南商务职业技术学院毕业设计

目录

1引言1

1.1项目背景1

1.2开发环境与工具2

1.2.1Python简介2

1.2.2Python第三方库简介2

2需求分析3

2.1可行性需求分析3

2.2采集目标功能分析3

2.3关键技术分析4

2.3.1网络爬虫技术4

2.3.2文件存取技术5

2.3.3可视化技术5

3数据采集6

3.1采集页面分析6

3.2字段分析7

3.3编程实现8

4数据清洗与处理16

4.1数据清洗16

4.2数据储存17

4.3编程实现17

5数据统计与分析18

5.1数据准备18

5.2数据展示20

5.2.1依据新闻标题进行统计20

5.2.2依据发布时间进行统计21

5.2.3据新闻发布地址进行统计和分析22

5.2.4依据新闻参与人数进行统计23

I

湖南商务职业技术学院毕业设计

5.2.5依据新闻评论人数进行统计24

5.3综述24

6小结25

参考资料26

II

湖南商务职业技术学院毕业设计

凤凰网新闻类网站数据分析展示

1引言

我国社会重要的发展的特征就是信息化，现如今在大家眼中，我国信息化

已经步入了一个飞速发展的状态。新时代的不断发展，正是我们新一辈年轻人

的机会和时机。依托现代化的信息技术和网络不断拓宽，信息的发展速度幅度

提升十分明显，随之带来了大数据时代。云服务、大数据、物联网、人工智能

在当下社会提供了便捷的服务，技术工作者的海量数据来源于人们的日常生活

产生出的数据，让我们使其分析出来供我们不断地学习，为我们未来便捷的生

活应用打下了基础。

我们日常生活中卫生医疗、食衣住行等方面产生了大量的数据等着价值的

开发。我们这代人也踩在信息革命的跑道上，慢慢的进入到了一个信息飞舞的

跑道。大量工作者往这一行涌入，做大数据的都知道，海量数据中

衣食住行、卫生医疗等方面产生的海量数据等待开发的价值愈来愈大。我

们这一代也踩在了信息革命的门槛上，逐渐进入到一个信息漫天飞舞的时代。

大量IT工作者鼓吹风口一词，引入许多人往这一行业涌入。大数据从业者都明

白，海量数据中隐藏的宝藏等待有缘人也可以说是有心人去发掘，数据科学及

大数据技术也成为目前信息技术领域的一个比较热门的分支，大家都觉得他是

未来。

1.1项目背景

这些年来，随着不断发展的互联网技术，各种互联网的爆炸数据信