天天基金网基金排行数据采集与可视化.pdf

湖南商务职业技术学院毕业设计

目录

1引言1

1.1项目背景1

1.2开发环境与工具2

1.2.1Python简介2

1.2.2MySQL简介2

1.2.3pymysql简介3

1.2.4Python第三方库简介3

2需求分析4

2.1可行性需求分析4

2.2采集目标功能分析5

2.3关键技术分析5

2.3.1网络爬虫技术5

2.3.2数据存取技术6

2.3.3可视化技术7

3数据采集7

3.1采集页面分析7

3.2字段分析8

3.3编程实现9

4数据清洗与处理13

4.1数据清洗14

4.2数据储存15

4.3编程实现16

5数据统计与分析19

5.1数据准备19

5.2数据展示29

5.2.1依据市面各类证券进行统计29

5.2.2依据净值进行统计30

I

湖南商务职业技术学院毕业设计

5.2.3据产今年盈亏率进行统计和分析30

5.2.4依据日增长进行统计31

5.3综述32

6小结33

参考资料34

II

湖南商务职业技术学院毕业设计

天天基金网基金排行数据采集与可视化

1引言

时光荏苒，我们的祖国已经进入了一个高速发展的阶段。百年未有之大变

局，正是我们这一代年轻人应该抓住的时机和机会。乔布斯的一次发布会，开

启了移动互联网时代的来临，信息大爆炸让各种技术应用的随需求不断诞生，

如雨后春笋一般开始冒尖儿。云、大、物、智等计算机互联网技术在当下从百

姓民生的各个方面提供了智能生活的技术基础。而广大人民群众日常的购物、

出行等产生的数据也让为我们这些技术工作者提供的海量的数据源头，让我们

有东西去学习和开发，然后应用。

衣食住行、卫生医疗等方面产生的海量数据等待开发的价值愈来愈大。我

们这一代也踩在了信息革命的门槛上，逐渐进入到一个信息漫天飞舞的时代。

大量IT工作者鼓吹风口一词，引入许多人往这一行业涌入。大数据从业者都明

白，海量数据中隐藏的宝藏等待有缘人也可以说是有心人去发掘，数据科学及

大数据技术也成为目前信息技术领域的一个比较热门的分支，大家都觉得他是

未来。

1.1项目背景

一家大型的上市公司的固定资产绝对不限于他们的楼房和股票，信息也是

资产组成部分中的固定一环

对于一家医药公司而言，研发药品