农业大数据总结.docVIP

农业大数据总结 　　摘要 近年来，农业数据的类型和数量剧烈增长，给农业大数据的获取、集成、存储与处理带来了巨大挑战。云计算、大数据等重要技术为农业提供了解决方法。本文从大数据引出农业大数据的概念与发展现状，介绍了农业大数据的关键技术，包括采集、集成、存储与处理技术，详细分析了云计算技术、MapReduce、分布式文件系统、分布式数据库，并对农业大数据面临的挑战与解决方案提出了思考。 　　关键词 农业大数据；云计算；物联网；关键技术 　　中图分类号 S126 文献标识码 A 文章编号 1007-5739（2017）17-0290-03 　　Abstract In recent years，the type and quantity of agricultural data has grown dramatically，which brings great challenge to the agricultural data acquisition，integration，storage and processing.Cloud computing，big data and other important technologies provide a solution to agriculture.This paper drew on the concept and development of agricultural big data from big data，and introduced the key technologies of agricultural big data，including the technology of collection，integration，storage and processing，and analyzed the detail of the cloud computing technology，MapReduce，distributed file system，distributed database. Finally，challenges and solutions to the agricultural big data were put forward. 　　Key words agricultural big data；cloud computing；Internet of things；key technology 　　1 大数据及农业大数据概述 　　1.1 概念和基本特征 　　目前，对于大数据的定义还没有明确的规定。Gartner公司认为大数据是需要高效和创新的信息处理方式以增强洞察力和决策能力来适应大量，高速和多样化的信息资产[1]。麦肯锡全球研究所提出，大数据是指其大小超出了典型数据库软件工具捕获、存储、管理和分析能力的数据集[2]。最初大数据有三大特征，分别是规模化（volume）、多样性（va-riety）和高速率（velocity）。随着对大数据了解的不断深入，国际数据公司IDC认为其第四特征为有价值（value），IBM提出第四特征为真实性（veriety），也有学者认为第四特征为活力（vitality）。农业大数据，就是利用大数据的理念、技术和方法，解决农业或涉农领域数据的采集、存储、计算与应用等一系列问题，是大数据的理论和技术在农业上的应用与实践[3]。农业大数据除了具备大数据的三大特征以外还具备以下特征：农业大数据无所不在（泛在性）；农业大数据规律性变化（周期性）；农业大数据地域性变化（地域性）；农业大数据反映社会状态变化（社会性）；农业大数据影响交叉（交叉性）；农业大数据在不同时间差异大（多变性）；农业大数据间相互联系，相互作用（综合性）；农业大数据组织分散（分散性）。 　　1.2 研究进展 　　《Nature》杂志[4]及《Science》杂志[5]先后出版大数据专刊，表明大数据的影响力增加以及为大数据的发展带来了挑战与机会。同时，国内发表大数据论文[6]、开展大数据会议、成立计算机学会大数据专家委员会、发布大数据白皮书，探讨了大数据核心问题和重大意义。2009年土壤抽样分析服务商Solum和2011年云端上的农场Farmeron成立，表明大数据已经应用到农业中，对于挖掘农业价值，制定生产计划和获取利益最优化具有重要意义。国内谢润梅[7]、许世卫[8]和黎玲萍[9]等人也?l表农业大数据方面的论文，分析了农业大数据的机遇、应用并设计了智能分析平台，但是对农业大数据的关键技术论述不够完善。本文在此基础上介绍了农业大数据的获取、集成、存储与处理技术，并分析了面临挑战与解决方案，有利于实现指导农业实践、制定生产计划和实现利益最优化