基于云存储农业虚拟服务平台架构.docVIP

基于云存储农业虚拟服务平台架构 　　摘 要： 提出了一种基于云存储模型的农业虚拟服务平台架构，用于整合各种农业信息资源，提供统一的海量农业信息存储、高性能计算、软件和数据共享服务。分析、设计了资源申请解析和虚拟资源预留分配两个核心模块，提出了一种树型虚拟资源分配策略算法。给出了原型系统的部署方案。通过实验证明了该体系架构的可行性。 　　关键词： 云存储； 农业信息化； 服务平台； 虚拟 　　中图分类号：TP391 文献标志码：A 文章编号：1006-8228（2013）08-05-03 　　0 引言 　　目前农业信息网络体系己初步建成，各种农业数据信息呈指数级快速增长，包括：遥感数据、气象数据、作物生长模拟、数字媒体等方面，数据量已达到PetaByte级，信息存储维护及数据管理成本也随之增大，而且农业资源呈现分散、异构、自治等特征，形成了彼此独立的“信息孤岛”[1-2]。随着数据挖掘、基因分析等农业电子信息领域计算量的增大，使得对硬件的需求量增大，这导致了科研投入的增加。 　　基于上述农业信息化的特点，可建立一个公共的服务平台，集中提供各种软件资源、格式统一的数据存储、高性能计算，以实现信息共享、节省软硬件资源、提高利用率，用户通过登录服务平台，便可迅速得到所需的应用环境，而不必考虑资源购置、维护、环境部署等问题。 　　云存储是一个以数据存储和管理为核心的系统，与目前网格计算中因资源分散而易受带宽及资源供给方不确定因素影响不同[3]，其强调存储及计算资源集中化、规模化。目前云存储在农业方面还没有相关的研究及应用[4]，本文基于云存储技术研究一种农业信息虚拟服务平台架构，研究设计了资源申请解析和虚拟资源分配模块，提出了基于分类的树型虚拟资源分配算法，规范了资源的使用并提高了效率，建立了原型系统，通过对资源的分配预留，模拟数据的存储共享和并行计算的实验，证明了架构的可行性。 　　1 云存储的农业虚拟服务平台设计 　　1.1 功能描述 　　基于云存储的农业虚拟服务平台，提供了一个集中海量信息存储、科学计算、信息共享的空间。 　　在物理资源方面，用户使用的不再是现???物理资源，而是借助于平台VMware、Xen等虚拟化软件在云端大量商用计算机组成机群[5-7]构建出来的一台或多台虚拟服务器，在完成需要的CPU、内存、存储空间申请后，便可进行存储、计算、数据共享等工作。 　　在信息数据方面，可实现同一地点集中存储，方便信息的管理、信息格式的统一和信息共享。 　　在软件资源方面，集合各种软件资源，建立统一的相互访问的接口标准，达到易集成、费用低、高性能的效果。 　　在计算资源方面，根据需求提供虚拟化的CPU、内存及并行计算、云计算服务，节省硬件资源，提高计算速度。 　　1.2 平台架构 　　云存储的农业虚拟服务平台是由物理层、基础层、管理层和访问层四层组成，其中基础层和管理层构成系统的云存储服务平台体系架构的核心，如图1所示。 　　物理层：由服务器集群和存储阵列集群组成，是平台最基础的部分。物理层中的服务、存储设备由于数量庞大，可分布多不同地域，彼此之间光纤通道网络连接在一起。 　　基础层：通过节点状态监控模块、分布式文件管理系统模块、云计算模块，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，提供高速的数据访问性和分布式计算能力；通过虚拟机服务模块的虚拟化技术，整合使用大量的虚拟资源，为用户提供PaaS（Platform as a Service），SaaS（Software as a Service）服务[8]。通过数据压缩、加密、备份模块确保云中数据的私有性、安全性及容错性。 　　管理层：解析用户的资源申请内容，提供公有、私有编程接口及web2.0共享服务，用户登录认证及使用权限的管理、云存储中虚拟资源的预留及分配。 　　访问层：分为农业研究机构、农业企事业单位和个人空间三种访问类型，根据访问规模，每种类型所拥有的资源访问和使用权限不同。 　　1.3 模块设计 　　⑴ 资源申请解析模块 　　资源申请解析模块是解释并执行用户申请资源脚本的程序。为了减少用户申请资源的复杂程度，模块采用插件化设计，关键字驱动脚本技术，由服务端建立的功能函数库将脚本语句逐步分解。 　　资源申请解析模块结构如图2所示，其中驱动和执行是两个核心部分。驱动部分中，脚本选择器用来检查用户提交命令的正确性，解释命令并产生执行列表，执行模块根据列表去执行脚本；控制器根据用户脚本的需求切换资源环境，并根据脚本列表中的每个脚本的运行时限来控制资源使用时间，把状态结果发给日志记录模块。执行部分将每一个资源申请的结果返回给驱动部分，定义三种结果状态“PASS、ABORT、FAIL”，把执行过程