飞猪网云南景点数据采集与分析.pdf

目录

1引言1

1.1项目背景1

1.2开发环境与工具2

1.2.1Python简介2

1.2.2Python第三方库简介2

1.2.3MySQL简介3

1.2.4NavicatPremium简介3

1.2.5JypyterNotebook简介3

2需求分析4

2.1可行性需求分析4

2.2采集目标功能分析4

2.3关键技术分析4

2.3.1网络爬虫技术4

2.3.2文件存取技术5

2.3.3可视化技术6

3数据采集7

3.1采集页面分析7

3.2字段分析8

3.3编程实现9

4数据清洗与处理10

4.1数据清洗10

4.2数据储存11

4.3编程实现12

5数据统计与分析14

I

湖南商务职业技术学院毕业设计

5.1数据准备14

5.2数据展示15

5.2.1依据景点的月售进行统计和分析15

5.2.2依据景点名称进行统计和分析16

5.2.3依据价位进行统计和分析17

5.2.4依据多日游和一日游的月售占比进行统计与分析18

6小结19

参考资料20

II

湖南商务职业技术学院毕业设计

飞猪网云南景点数据采集与分析

1引言

现在是一个高速发展的社会，随着互联网、物联网、移动互联网、社交网

络等技术的发展，数据作为产物，其增长速度可谓是成倍数，如此庞大的数据

信息导致大数据技术的飞速发展，在给我们带来便利的同时也伴随着信息透明

化，在日常的生活中不经意间就透露了自己的日常行迹以及身份信息，而我们

也不得不接受这个事实，但是大数据技术诞生意义不在于收集的数据越多越好，

而是如何将含有意义的数据经过一系列专业的处理，使其成为高质量、可使用

的数据，实现它价值上的一个增值。

数据的待开发价值越来越大，而我们也正在进入一个大数据时代，大数据

应用也成为当前最为热门的信息技术应用领域。在我们日常生活中到处都在享

受着大数据技术带给我们的便利，比如网上购物，在手机上就可以选择我们需

要的物品不同的品牌型号一眼可知，让我们不再是盲目逛街挑选，大幅缩短了

挑选的时间，大数据技术甚至会根据你注册的账号年龄、浏览记录，搜索记录

给你推送你想要购买的商品，可以说，它比你自己都更了解自己。

自从互联网的发展，旅游行业也随之而起飞。现如今，我们能够在网络上

查找、比较旅游价格、行程安排，并根据自己的需求进行定制化旅游。当我们

想出去旅游时不想浪费时间在挑选景点时也可以通过爬虫爬取心仪的城市然后

快速得出该城市的热门景点以及他的销量和票价。

1.1项目背景

云南是一个拥有丰富旅游资源的省份，美丽的自然风景和独特的民俗文化

深深吸引了众多游客前来观光旅游。而随着大数据技术的发展，它深刻地改变

了云南旅游业的发展和管理方式。

大数据技术在旅游业中的应用，大大提高了旅游业的精准化管理。通过数

据分析，我们能够了解到游客的偏好和需求，从而为他们提供更个性化的服务。

大数据让旅游网站能够对用户进行更好的了解和识别，甚至是预测他们的需求。

通过使用大数据分