大数据在农业发展中的研究.docVIP

大数据在农业发展中的研究 　　摘 要：“大数据”已发展成为了数据挖掘以及智慧应用的前沿技术，是在物联网、云计算之后信息技术产业领域的又一次重大的技术变革。文章从大数据农业发展的现状、发展中遇到的主要问题、大数据农业发展的关键技术、以及大数据农业发展的现实制约几方面进行分析和探讨，并且对我国的大数据农业和智慧型农业的发展提出建议。 　　关键词：大数据；关键技术；农业发展 　　1 概述 　　大数据的发展延伸出很多分支，农业大数据是非常具有特色的一支，因为在农业领域里创新性的结合了大数据理论、技术和方法。 　　农业大数据是农业与大数据的结合，除了具有大数据的特性之外，还具有复杂性和分散性的特征。农业的发展也不再是简单的耕地、播种、施肥、杀虫等等环节，而是涉及到更多的跨行业、跨专业、跨业务的发展，在农业大数据中，更多的是数据分析与挖掘，以及数据的可视化。 　　2 农业大数据面临的主要问题 　　2.1 数据量化能力低 　　在农业中，农业普查是获取农作物产量、农产品市场价格等这些数据的唯一途径。但是，农业普查获得的数据也最容易受到人为因素的影响。比如，从普查人员的角度来说，可能受到自身业务能力水平或是个人利益的影响，导致数据出现质量问题；从农业普查机构的角度来说，在审核过程中的程序有缺陷、把关不严密，以及普查的方案存在漏洞，这些都会影响普查数据的质量。 　　2.2 数据共享量率低 　　在市场经济发展的过程中，由于农业经营和生产模式逐步分散化，所以要将农业生产在全国范围内进行统一规划变得很难。而且，掌握这些数据的大型涉农网站和一些涉农研究管理机构，因为体质和相互竞争等因素，导致了彼此之间不能共享信息，不能共享数据，造成大量的农业数据之间缺乏统一的标准和规范，使得数据共享率极低。 　　2.3 对数据分析解释的客观性问题片面 　　只要是有效的大数据工具和方法都可以对采集到农业领域的数据进行分析。但是在对数据分析的过程中，不同的职能机构有各自的执行标准和规范，在按照这些标准和规范解释数据时，使得分析得到的结果存在很大差异，还有的分析人员对数据分析代有主观色彩，造成了“数据偏见”。 　　鉴于上述问题，必须改变获取农业大数据的来源，一般由机器提供的数据客观性较强，可以考虑将互联网、移动互联网和物联网技术与农业结合。 　　3 农业大数据的关键技术 　　可以看出，由于大数据的数据量大、结构复杂，而农业大数据作为它的一个分支，对其进行分析面临非常严峻的挑战。用现有技术对数据的提取、存储、搜索、共享、分析和处理已经非常困难，因此对处理大数据中的一些关键技术的研究显得十分的迫切。下面是归纳出的三个方面： 　　3.1 大数据存储技术 　　大数据核心技术是基于存储的计算，所以数据的存储是基础。大数据的数据量日益庞大，使得传统存储技术面临建设成本高、运维复杂、扩展性有限等问题，急需寻找成本低廉、扩展性高的存储技术，云存储技术应运而生。通过用集群应用、网格技术或者是分布式文件系统等将网络中大量各种不同的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统，就是云系统的工作原理。 　　存储层主要是将若干个存储设备虚拟化管理；基础管理层是管理云存储设备之间协同工作，使多个存储设备对外提供同一种服务；应用接口层就是提供各种服务接口；访问层就是授权用户可以登录云存储系统，享受云服务。 　　3.2 大数据管理技术 　　数据存储好后，还要对其进行深度分析，从中发现有用信息加以利用，并不是简单的生成报表，要运用复杂的分析模型以及数据对其进行分析。虽然SQL语言（存取关系数据库系统语言）在经过不断的扩充，其功能和表达能力也不断的增强，但是由于关系数据管理的对象主要是标准化的结构化数据，而现在成熟的数据库大部分都是结构化的设计。所以在大数据时代，面对海量的半结构化和非结构数据，关系数据管理技术丧失了其特有的优势。在实际应用中，非结构化数据比如办公文档、文本、图片、图像和音频/视频信息等等逐步上升为主导地位。显然，关系数据管理系统不能够继续胜任大数据分析的要求，所面临的挑战是必然的，必须研究一种新型的数据管理技术。 　　3.3 大数据处理技术 　　大数据处理的流程主要包括以下四个环节：采集、导入（预处理）、统计（分析）、挖掘。在这四个环节中，数据挖掘是最关键的步骤。因为前三个环节可以通过运用特定的算法，或是机器采集来进行分析。对于数据挖掘没有预先设定的主题，主要是利用现有的数据，运用各种算法，达到预测的效果，进而对一些高级别数据进行进一步的分析。例如，通过分析农业大数据，可以很好的预测农产品市场价格走向等等。可以看出数据挖掘中涉及的数据量和计算量都很大，相应的数据挖掘算法也很复杂。 　　以上述关键技术作为支撑，结