基于Hadoop葡萄种植环境数据处理及性能测试.docVIP

基于Hadoop葡萄种植环境数据处理及性能测试 　　摘要：随着农业大数据时代的来临，传统串行程序及关系数据库已经不能满足对大数据处理的需求，使用分布式平台对数据进行处理逐渐取代传统的数据处理技术。本文使用Hadoop分布式平台，结合非关系型数据库Hbase和并行编程模型MapReduce，对香格里拉地区酿酒葡萄种植区的环境数据的存储和计算进行了设计，测试了Hbase对数据的存储性能以及MapReduce用于回归分析的性能，并将MapReduce并行计算程序与单机串行程序进行了性能对比。结果表明，通过对Hbase进行合适的配置，数据写入时间随着节点的增加而减少，存储性能具有良好的扩展性；MapReduce在处理少量数据时效率低于串行程序，但随着数据量增加，其计算效率明显优于串行程序。 　　关键词：Hadoop；Hbase；MapReduce；性能测试；农业大数据 　　中图分类号：S126+S663.104+.4 文献标识号：A 文章编号：1001-4942（2015）08-0119-05 　　Abstract With the advent of the era of agricultural big data， the traditional serial program and relational data base could not meet the need for processing big data， which was gradually replaced by the distributed computing platform. In this paper， the Hadoop distributed platform combined with the non-relational data base Hbase and the parallel programming model MapReduce was used to study the storage and calculation of environmental data from Shangri-la grape growing region. The performance of Hbase for data storage and MapReduce for regression analysis was tested， and the property of parallel calculating of MapReduce was compared with that of the traditional calculating method of serial storage. The results showed that the data writing time of Hbase decreased with the increase of node through appropriate configuration， and its storage property possessed better expansibility； the processing efficiency of MapReduce was lower for a few data， while that was obviously superior to the serial program for large amounts of data. 　　Key words Hadoop； Hbase； MapReduce； Performance test； Agricultural big data 　　近年来，大数据一词越来越多的被提及，被用来描述和定义信息爆炸时代产生的海量数据。数据已经成为与自然资源、人力资源同样重要的战略资源。目前，我国大数据已经运用到医疗业、制造业、交通业等不同行业[1，2]。农业数据由结构化数据和非结构化数据构成，数据量大、涵盖领域广、数据类型多，属于典型的大数据[3]。现阶段，大量的科研人员也已经意识到农业大数据的研究价值，投入到农业大数据分析、处理过程的优化中。基于大数据的背景下，传统的关系数据库以及串行程序已不能满足对大数据处理的需求[4]。随着Google提出云计算这一技术概念，其三大核心技术GFS、MapReduce和Bigtable为大数据的管理提供了解决方案[5]。 　　众多企业及科研单位已经开展了农业大数据研究工作。土壤抽样分析服务商Solum致力于使用数据分析技术来确定化肥的投入量问题，通过对农业大数据的分析来帮助农民提高产出、降低成本[2]；跨国农业生物技术公司Monsanto通过分