基于Google云计算的水利信息系统研究.pdfVIP

计算机光盘软件与应用 信息摭 摩周研究 Compfl~erCDSoftwareand．AP融icatipn§ 2012年第6期 数就是 (key，[valuel，…，valuem])。Reduce的工作就是 统的效率，防止主服务器负载过重。 对这些对应相同key的value值进行归并处理，最终形成(key， 3．海量数据管理技术 final — value)的结果。这样，一个Reduce就处理了一个key， 水利信息系统需要对分布的、海量的数据进行处理、分析， 所有Reduce的结果合并在一起就是问题的最终运算结果。上 因此，数据管理技术必需能够高效的管理大量的数据。因此在 述过程中，无论是各个Map还是各个 Reduce，都是并行执行 水利信息系统中的数据管理技术可以采用 BT(BigTable)数据 的。 管理技术和 Hadoop团队开发的开源数据管理模块 HBase，提 (三 )Bigtable 供灵活高效的服务。 Bigtable[5]是GoOgle开发的，以GFS、MapReduce、Chubby 4．虚拟化技术 为基础的分布式存储系统。 在水利信息系统框架中的虚拟化支持层采用虚拟化技术 如图2-3所示，是Bigtable的基本架构。其中，Google 实现软件应用与底层硬件相隔离，它包括将单个资源划分成多 Work0ueue是一个分布式的任务调度器，主要用来处理分布式 个虚拟资源的裂分模式，也包括将多个资源整合成一个虚拟资 系统的队列分组和任务调度。 源的聚合模式。 5．云计算平台管理技术 基于云计算的水利信息系统资源规模庞大，服务器数量众 多并分布在不同的地点，同时运行着数百种应用，Google云 计算系统的平台管理技术能够使大量的服务器协同工作，方便 的进行业务部署和开通，快速发现和恢复系统故障 通过 自动 化、智能化的手段实现大规模系统的可靠运营。 (三)基于Google云计算的水利信息系统的优势和不足 图2-3BigrabIe基本架构 基于Google云计算的水利信息系统与传统水利信息系统 如图2-3所示，逻辑上，Bigtable主要由三个部分组成： 相 比有很多优点： ‘ 客户端程序库 (C1ientLibrary)、一个主服务器 (Master (1)成本低。由于应用程序在云中，故各终端电脑并不 Server)和多个子表服务器 (TabletServer)。客户端需要访 需要传统的桌面软件所要求的处理能力和硬盘空间。 问Bigtable的服务时，首先要使用其库函数执行Open0操作， (2)性能高和计算能力强。在云计算中，用户计算机的 通过Chubby打开一个锁 (即获取文件 目录)，锁打开以后客户 启和运行速度将会更快，因为他们只需将少量的程序和进程加 端就即可和子表服务器进行通信。 载到内存中。云计算使用了数据副本容错、计算节点同构可互 三、基于GoogIe云计算的水利信息系统