农商网蔬菜农产品数据分析与展示.pdf

湖南商务职业技术学院毕业设计

目录

1引言1

1.1项目背景1

1.2开发环境与工具2

1.2.1Python简介2

1.2.2Python第三方库简介2

2需求分析3

2.1可行性需求分析3

2.2采集目标功能分析3

2.3关键技术分析4

2.3.1网络爬虫技术4

2.3.2文件存取技术5

2.3.3可视化技术5

3数据采集6

3.1采集页面分析6

3.2字段分析7

3.3编程实现8

4数据清洗与处理9

4.1数据清洗10

4.2数据储存12

5数据统计与分析13

5.1数据准备13

5.2数据展示13

5.2.1依据各地区农产品种类进行统计13

5.2.2依据商品平均价格进行统计14

5.3综述15

6小结15

参考资料16

I

湖南商务职业技术学院毕业设计

农商网蔬菜农产品数据分析与展示

1引言

时光荏苒,我们的祖国已经进入了一个高速发展的阶段。百年未有之大变

局,正是我们这一代年轻人应该抓住的时机和机会。乔布斯的一次发布会,开启

了移动互联网时代的来临,信息大爆炸让各种技术应用的随需求不断诞生,如雨

后春笋一般开始冒尖儿。云、大、物、智等计算机互联网技术在当下从百姓民

生的各个方面提供了智能生活的技术基础。而广大人民群众日常的购物、出行

等产生的数据也让为我们这些技术工作者提供的海量的数据源头,让我们有东

西去学习和开发,然后应用。

衣食住行、卫生医疗等方面产生的海量数据等待开发的价值愈来愈大。我

们这一代也踩在了信息革命的门槛上,逐渐进入到一个信息漫天飞舞的时代。

大量IT工作者鼓吹风口一词,引入许多人往这一行业涌入。大数据从业者都明

白,海量数据中隐藏的宝藏等待有缘人也可以说是有心人去发掘,数据科学及大

数据技术也成为目前信息技术领域的一个比较热门的分支,大家都觉得他是未

来！

1.1项目背景

随着现代人健康意识的逐步提升，蔬菜作为一种营养丰富、健康食品备受

追捧。然而，传统的蔬菜种植模式存在种种问题，包括土壤质量下降、化肥、

农药的过度使用，都对人们的健康产生了一定的风险。因此，品质高的蔬菜农

产品越来越少，采购渠道也越来越稀少。

目前，蔬菜市场需求旺盛，消费者对于蔬菜的品质要求也越来越高。随着

城市人口的增加，对新鲜蔬菜的需求量也在持续增长。

本次项目就是针对普通蔬菜市场的需求,然后爬取农商网网站蔬菜数据,对

其进行爬取,分析,然后可视化。繁杂的数据经过清洗加分析后结果呈现在眼

前,这样就可以知道哪些供应商是可靠的合作伙伴,各种蔬菜供应量、价格、联

系方式、供货地址一目了然，最后做相对正确的决策。所以这次项目由数据

爬取、清洗、储存、可视化这几个部分组成。

1