当当网图书销量数据采集与分析.pdfVIP

湖南商务职业技术学院毕业设计

目录

1引言1

1.1项目背景1

1.2开发环境与工具2

1.2.1Python简介2

1.2.2MySQL2

1.2.3JupyterNotebook简介3

1.2.4PyCharm和Python第三方库简介3

2需求分析4

2.1可行性需求分析4

2.2采集目标功能分析4

2.3关键技术分析5

2.3.1网络爬虫技术5

2.3.2文件存取技术5

2.3.3可视化技术6

3数据采集6

3.1采集页面分析6

3.2字段分析8

3.3编程实现9

4数据清洗与处理11

4.1数据清洗11

4.2数据储存13

4.3编程实现13

5数据统计与分析14

5.1数据准备14

5.2数据展示16

5.2.12022年畅销书图书的原价价格分布区间16

5.2.22022年畅销书图书的售价价格分布区间16

I

湖南商务职业技术学院毕业设计

5.2.3各个出版社销售书籍数量分析17

5.2.4电子书占比进行统计18

5.2.5依据书籍评论数排名进行统计18

6小结19

参考资料21

II

湖南商务职业技术学院毕业设计

当当网图书销量数据采集与分析

1引言

随着大数据信息技术的兴起，让信息技术的发展发生了巨大的变化，目前

大数据已经在很多领域得到了实际应用，如医疗，教育，金融，娱乐产业，房

地产，体育等等，致使各式各样的数据接踵而来，每个国家都高度重视大数据

技术与应用的研究和发展。大数据不仅仅是数据量大，还有数据类型繁多，处

理速度快，价值密度低的特点，通过大数据技术，人们可以从海量数据中提取

有用的数据进行整合分析，大大提升人们的工作效率。

通过大数据技术，我们可以对海量数据经行快速的收集和挖掘，现在大数

据技术已经成为支持社会治理科学决策和准确预判的有力手段，为社会转型期

的社会治理创新带来巨大机遇[1]。

1.1项目背景

现在这个时代中，大数据在实际应用中发挥着很大的作用。大数据技术、

Hadoop、数据清洗，数据可视化，网络爬虫，MySQL数据库技术的不断发展完善，

为我们进行大数据爬取分析和数据挖掘提供了强大支撑。

互联网发展势头正猛，带动了信息技术与网络技术的发展，让人们真正走

到物联网和云计算时代，让信息能够实现共享，并快速的流转，这就是新时代

向着网络时代前进的必然趋势。就在