云计算的山东黄河水情预测探索研究.docVIP

基于云计算的山东黄河水情预测探索研究 李凯 王前 马德辉 (山东黄河信息中心,山东 济南 250013) 摘要：云计算（Cloud computing），云计算是分布式处理（Distributed Computing）、并行处理（Parallel Computing）和网格计算（Grid Computing）的发展，透过网络将庞大的计算处理程序，自动拆分成无数个较小的程序，再交给由多台服务器所组成的庞大系统，经搜寻，计算分析之后，将处理结果回传给用户。本文依托云计算，采用马斯京根(Muskingum)法分河段连续演算参考 I－O＝dW/dt (1) W＝K[xI+(1-x)O]＝KQ′ (2) K、x进行率定，在洪水演算时根据时段流量所属级别选用相应的参数。 3 山东黄河云计算平台的主要技术原理 山东黄河云计算平台采用Apache Hadoop（参考文献2）技术来实现，主要是由分布式存储（HDFS）、分布式计算（MapReduce）等组成 。其中，存储地市局的洪水及预测的数据，apReduce则通过局的水文数据并对这些数据进行将各个的数据进行合并操作计算的预测数据存储完成一次下游洪水预测。 3.1分布式存储（HDFS） Hdfs采用的是master/slave模型，一个Hdfs cluster包含一个NameNode和一些列的DataNode，其中NameNode充当的是master的角色，主要负责管理Hdfs文件系统，接受来自客户端的请求；DataNode主要是用来存储数据文件，Hdfs将一个文件分割成一个多这是多个的block，这些block可能存储在一个DataNode上或者是多个DataNode上。 3.2分布式计算（MAPREDUCE） MapReduce采用分而治之的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。 在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTracker；另一个是TaskTracker，JobTracker是用于调度工作的，TaskTracker是用于执行工作的。一个Hadoop集群中只有一台JobTracker。 在分布式计算中，MapReduce框架负责处理了并行编程中分布式存储、工作调度、负载均衡、容错均衡、容错处理以及网络通信等复杂问题，把处理过程高度抽象为两个函数：map和reduce，map负责把任务分解成多个任务，reduce负责把分解后多任务处理的结果汇总起来。4实现方案 山东黄河云计算平台的主要方案是在省一级部署NameNode、DataNode和JobTracker。而在市、县一级部署DataNode和TaskTracker。8个地市局分别存储各自辖区内的黄河水情信息数据，而在省一级则只存储采用马斯京根法计算过的各个地市局的汇总数据。省一级提起水情预测任务（JobTracker）5 结论与讨论 山东黄河云计算水情预测平台能够有效整合省、市、县三级的计算资源，同时采用分布式文件系统的备份恢复机制以及MapReduce的任务监控保证了分布式处理的可靠性，为水情预测的准确性和时效性提供了有力的保障。由于水情信息是国家基础信息资源，因此采用分布式文件系统的高效数据交互实现以及MapReduce结合Local Data处理的模式，保障了数据存储的稳定性，同时为高效处理海量的信息作了基础准备，方便以后利用水情信息进行其他各种类型的数据挖掘工作，提高治黄工作的现代化水平。由于水情信息的不断增长，无论存储的扩展性还是计算的扩展性只需加入普通的PC，便可与现有系统进行无缝融合。 山东黄河基于云计算水情预测的研究有助于提升山东黄河防汛抗旱、水量调度等战略性决策的科学性，使山东黄河的日常管理更加科学化、合理化，进一步提升山东黄河的治理水平，更好的服务于人民大众。 6参考文献 马斯京根法洪水演进反演计算方法的探讨等 水》2、面向Hadoop的云计算核心技术分析 《湖南工业大学学报