高端计算集群上用于遥感数据处理的云计算.docVIP

高端计算集群上用于遥感数据处理的云计算 ———————————————————————————————— 作者： ———————————————————————————————— 日期： 高端计算集群上用于遥感数据处理的云计算 摘要 Hadoop是一种分布式文件系统和MapReduce架构——最初由谷歌为搜索应用而开发并随后作为一种开源系统被Apache基金会采纳。我们认为这种并行计算架构十分适合于一些列针对科学应用的效劳，特别是，遥感系统的卫星数据处理。我们说明，通过运行于一组IBM PowerPC刀片效劳器组成的集群上的Hadoop系统，我们可以高效处理多年遥感数据，相比于现有的多处理器计算方法，期待看到速度方面的改良，并有更多的内存有效利用，以允许更精细的网格划分。此外，这些改良可以不用重大的编码构造改变而得到。 简介 云计算——最初被Google提出并随后被Apache基金会按照开源软件提供为Hadoop——是基于一种并行编程范例MapReduce，它采用分布式文件系统在极大规模的低端处理器〔例如，很可能是上千个或更多处理器〕集群上实现，目的是基于文本的搜索。程序员们利用这种软件系统的众多优点之一是,它提供了一种简单并行编程构造的同时使得所有数据的管理和移动操作变得自动化。这篇论文的目的是探索当实现于高端计算集群时，Hadoop MapReduce并行编程范例处理更广泛领域的科学数据处理问题的可能性。我们描述了多核计算中心刀片计算集群，和在基于Section 2.0的JS20刀片效劳器的IBM PowerPC集群上Hadoop的安装。在这篇论文中我们选择了遥感领域需要需对卫星观测数据特别处理的科学应用。该应用与相互独立的观测数据——由卫星上的仪器每月或每小时拍摄，类似于网络文档——的文档检索有着相似的性能。在卫星绕地球轨道运行时，该仪器收集新数据，但以一样的类似于出现于文本文档中一页的单词目录的格式包含电磁光谱能量〔例如辐射观测数据〕的测量值。 本文中，我们特别关注了Aqua卫星上设备产生的数据，也就是说，由AIRS设备收集的可见光/近红外数据。我们描述了网格化遥感数据的问题和联系，介绍了网格化这些数据的非Hadoop方法。为了比拟，我们同时描述了一种推荐的Hadoop MapReduce方法。这篇论文的余下局部安排如下：首先，我们简单介绍了我们将称其为标准算法的非Hadoop算法，随后是Hadoop算法，然后我们比拟了这两种算法的运行结果。 Hadoop计算集群 UMBC〔马里兰大学巴尔的摩分校〕的多核计算中心管理着一组计算机研究设施，它维护了两个非常高端的多核集群，为需要由这些先进硬件系统提供计算力的研究人员效劳。这两个集群都通过一个共同的管理节点访问，并且在外部通过10Gb光纤相互连接。这两个集群的系统名称是BlueGrit。一个系统包含33台IBM 的双核2.2 GHz PowerPC处理器、2GB内存的JS20刀片效劳器，14台双核2.5 GHz PowerPC处理器、4GB内存的JS21刀片效劳器，4台四核4.0 GHz PowerPC处理器、32GB内存的JS22刀片计算机，并为UMBC提供了一个138核的IBM PowerPC集群。每一个刀片效劳器包含两个这样的处理器芯片。另一配置包含14台IBM QS20 Cell刀片效劳器和10台QS22刀片效劳器。每一台QS20/22效劳器包含2个Cell处理器，每个Cell处理器有一个3.0 GHz PowerPC处理器和8个SPU处理器。QS20拥有访问速度为25 GB/s的1 GB本地内存，每个SPU处理器支持每秒240亿次浮点运算〔24Gflops/proc〕。QS22有32 GB内存。并且，这8个在同一芯片上的SPU处理器由200GB/s的Broadband网络——为在处理器和内存间移动的数据提供了空前的访问速度——连接在一起。此外，BlueGrit拥有2个配备了Intel奔腾4双核处理器和安装有Hadoop软件的2.25 TB硬盘的谷歌机架效劳器。还有一个配置为PVFS〔并行虚拟文件系统〕的16TB的硬盘矩阵。 BlueGrit有一个基于英特尔〔处理器〕的头节点和一个大的基于英特尔〔处理器〕的NFS〔网络文件系统〕效劳器。每一个JS20刀片效劳器有2个2.2GHz PowerPC 970处理器和512M内存。这些双核节点配备有2.3 GHz处理器和2 GB内存。NFS效劳器〔storage001〕现在总计有2.2 TB存储空间，2.5 GB内存和2个3.0 GHz Intel Xeon处理器。管理节点是一个拥有两个2.8 GHz Xeon处理器的系统，配备了256 MB内存，和5.4 TB共享存储空间。操作系统使用了Red Hat 4.0企业版Li