基于python对固定网站蔬菜价格数据的爬取与分析.docx

基于Python对固定网站蔬菜价格数据的爬取与分析

摘要

蔬菜是我们餐桌上必不可少的菜肴，还是农民的收入来源，现如今蔬菜的销售方式有很多种，而蔬菜价格受影响的因素有很多，这就会影响农民的收入。那就需要一个系统能够实时监测蔬菜价格以及销售量的波动，让农民一目了然，能够正确的选择育苗。本研究基于Phyton利用JupyterNotebook网络爬虫工具在河南万邦国际物流网站上

2020年一整年到2021年3月份的六种蔬菜价格和销售量信息进行爬取，爬取到的信息导出excel表里进行数据处理，并转换为图片形式实现可视化分析。本研究显示2020年内销售量较高的蔬菜有西红柿、土豆等，蔬菜平均价格波动最大的蔬菜有大葱和黄瓜，而2021年的1月、2月、3月相比较下来包菜和大葱的销售量最低，平均价格波动相对于其他蔬菜波动较大。本研究对蔬菜产业区划和经营具有一定参考价值。

关键词：网络爬虫；蔬菜价格；数据处理；信息分析

基于Python对固定网站蔬菜价格数据的爬取与分析

1绪论

1.1研究背景及意义

1.1.1研究背景

蔬菜是我们的日常必需品，因为蔬菜价格的变化，所以农民栽种蔬菜的风险会很高。蔬菜价格的不稳定不仅会影响市场的稳定，还会影响到农民的收入。需要找到一种方法来解决农业决策中的缺点［1，2］。但是相关蔬菜价格的信息非常充足，甚至不能依赖传统的数据库技术或计算机来处理数据。对于海量数据和数据快速增长的问题，搜索一种处理海量数据的方法已成为农业信息化的重要目标之—*

O

本次可通过利用Pytohon语言进行网络爬虫，它能够自动爬取到指定的网站信息，网络爬虫的最终目是能将目标网站的信息数据源下载到我们的计算机上，便于进后期对数据进行分析。面临的挑战是从原始数据中提取知识，这就导致了新的方法和技术，如数据挖掘，可以将数据的知识与作物估产结合起来。

1.1.2研究意义

首先，农产品价格数据采集与网络爬虫项目联合应用。降低了采集数据的成本的同时，农业自动化，智能化采集以及数据采集的工作效率也相应提高。其次，将爬取到的数据存储为.CSV格式，经过数据清洗得到有效数据。最后，研究蔬菜价格和销售量的分析与可视化的方法，运用python爬取知识、excel表对爬取到的蔬菜价格和销售量数据进行处理和分析。

1.2国内数据发展现状

随着我国农村人口的减少和耕地的不断流失，农业生产的压力将会增大。技术是导致我国逐步摆脱粮食困境的最关键因素，农业大数据可能是最明显的效益领域，这个国家对农业的重视程度不断提高⑶。近年来，农业供给侧的发展，农业规模化生产的发展，农机合作社的发展，互联网+休闲农业的发展，农产品的可追溯性，都可以证明农业大数据已经成为了我国农业。经济体制的新倡导者、物联网、互联网等信息技术的新主角进入“+”农业战场，农业现代化成为我国农业发展的重点［7、8］O

在今天的大数据时代，几乎所有国家都开始意识到网络大数据带来的便利和机会，并已经开始利用农业大数据技术和新技术在其他领域大力发展农业，涉及广泛的邻域。内容和影响因素在许多情况下，数据收集十分复杂，决策管理也有很大的困难，因此，要实现大数据在农业领域的潜力，仍存在一些障碍［4］。农业部在《关于促进农业农村大数据发展的实施意见》（农实［2015］6号）中指出，要建立国家农业数据云平台和国家农业数据云平台。国家农业大数据中心就是以此为基础的。

1.2.1农业大数据发展现状

21世纪以来，随着互联网新技术的发展，当代社会进入了大数据时代。但自从《自然》杂志在2008年发表了一期特刊，从各个角度探讨了大数据的挑战，大数据的理论和技术确实引起了人们的注意［5］。农业大数据引起了全世界的注意。英国的农业技术战略强调，大数据可以推动农业的巨大进步，农业大数据性问题已经在在国际论坛上得到了广泛讨论；2015年，美国联邦农业部了实时土壤数据，帮助农民获得与农业生产相关的数据，法国、德国和美国正在利用大数据服务农业，并利用它来分析气象大数据预测灾害，并为农民推荐购买适宜的保险

⑹。国外农业大数据基本形成了规范、准确、智能化的应用格局。

我国高度重视农业大数据的发展。山东农业大学在农业大数据行业形成了第一个技术创新战略联盟。温福江高兴地注意到，虽然我国的大数据研究起步有点晚，但农业大数据研究却一马当先，他认为，未来农业监测预警的发展是大数据在农业监测预警领域的一个重要趋势，应用范围广泛［9］。充分的分析了农业对大数据的需求、大数据的主要应用领域及其在智能农业中的关键地位，刘平增认为，渤海粮仓科技术示范工程大数据平台的建设和应用是农业大数据平台在智能农业中的典型应用［11］。

1.2.2网络爬取技术在农业上的应用

从生产的角度来看，我国的蔬菜产业供给基本上算是安全的，可是就在2020年的病