高端计算集群上用于遥感数据处理云计算.docVIP

高端计算集群上用于遥感数据处理的云计算 摘要 Hadoop是一种分布式文件系统和MapReduce架构——最初由谷歌为搜索应用而开发并随后作为一种开源系统被Apache基金会采纳。我们认为这种并行计算架构十分适合于一些列针对科学应用的服务，特别是，遥感系统的卫星数据处理。我们表明，通过运行于一组IBM PowerPC刀片服务器组成的集群上的Hadoop系统，我们可以高效处理多年遥感数据，相比于现有的多处理器计算方法，期待看到速度方面的改进，并有更多的内存有效利用，以允许更精细的网格划分。此外，这些改进可以不用重大的编码结构改变而得到。 简介 云计算——最初被Google提出并随后被Apache基金会按照开源软件提供为Hadoop——是基于一种并行编程范例MapReduce，它采用分布式文件系统在极大规模的低端处理器（例如，很可能是上千个或更多处理器）集群上实现，目的是基于文本的搜索。程序员们利用这种软件系统的众多优点之一是,它提供了一种简单并行编程结构的同时使得所有数据的管理和移动操作变得自动化。这篇论文的目的是探索当实现于高端计算集群时，Hadoop MapReduce并行编程范例处理更广泛领域的科学数据处理问题的可能性。我们描述了多核计算中心刀片计算集群，和在基于Section 2.0的JS20刀片服务器的IBM PowerPC集群上Hadoop的安装。在这篇论文中我们选择了遥感领域需要需对卫星观测数据特别处理的科学应用。该应用与相互独立的观测数据——由卫星上的仪器每月或每小时拍摄，类似于网络文档——的文档检索有着相似的性能。在卫星绕地球轨道运行时，该仪器收集新数据，但以相同的类似于出现于文本文档中一页的单词目录的格式包含电磁光谱能量（例如辐射观测数据）的测量值。 本文中，我们特别关注了Aqua卫星上设备产生的数据，也就是说，由AIRS设备收集的可见光/近红外数据。我们描述了网格化遥感数据的问题和联系，介绍了网格化这些数据的非Hadoop方法。为了比较，我们同时描述了一种推荐的Hadoop MapReduce方法。这篇论文的余下部分安排如下：首先，我们简单介绍了我们将称其为标准算法的非Hadoop算法，随后是Hadoop算法，然后我们比较了这两种算法的运行结果。 Hadoop计算集群 UMBC（马里兰大学巴尔的摩分校）的多核计算中心管理着一组计算机研究设施，它维护了两个非常高端的多核集群，为需要由这些先进硬件系统提供计算力的研究人员服务。这两个集群都通过一个共同的管理节点访问，并且在外部通过10Gb光纤相互连接。这两个集群的系统名称是BlueGrit。一个系统包含33台IBM 的双核2.2 GHz PowerPC处理器、2GB内存的JS20刀片服务器，14台双核2.5 GHz PowerPC处理器、4GB内存的JS21刀片服务器，4台四核4.0 GHz PowerPC处理器、32GB内存的JS22刀片计算机，并为UMBC提供了一个138核的IBM PowerPC集群。每一个刀片服务器包含两个这样的处理器芯片。另一配置包含14台IBM QS20 Cell刀片服务器和10台QS22刀片服务器。每一台QS20/22服务器包含2个Cell处理器，每个Cell处理器有一个3.0 GHz PowerPC处理器和8个SPU处理器。QS20拥有访问速度为25 GB/s的1 GB本地内存，每个SPU处理器支持每秒240亿次浮点运算（24Gflops/proc）。QS22有32 GB内存。并且，这8个在同一芯片上的SPU处理器由200GB/s的Broadband网络——为在处理器和内存间移动的数据提供了空前的访问速度——连接在一起。此外，BlueGrit拥有2个配备了Intel奔腾4双核处理器和安装有Hadoop软件的2.25 TB硬盘的谷歌机架服务器。还有一个配置为PVFS（并行虚拟文件系统）的16TB的硬盘矩阵。 BlueGrit有一个基于英特尔（处理器）的头节点和一个大的基于英特尔（处理器）的NFS（网络文件系统）服务器。每一个JS20刀片服务器有2个2.2GHz PowerPC 970处理器和512M内存。这些双核节点配备有2.3 GHz处理器和2 GB内存。NFS服务器（storage001）现在总计有2.2 TB存储空间，2.5 GB内存和2个3.0 GHz Intel Xeon处理器。管理节点是一个拥有两个2.8 GHz Xeon处理器的系统，配备了256 MB内存，和5.4 TB共享存储空间。操作系统使用了Red Hat 4.0企业版Linux。 我们在IBM JS20刀片服务器上安装了Hadoop。本文写作时，使用的Hadoop版本为0.18.1。一台JS20刀片服务器被设定为Hadoop控制节点。其余的JS20刀片服务器被