空间信息云服务关键技术.docx

分布式计算技术分布式计算是一门计算机科学，它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分给许多计算机进行处理，最好把这些计算结果综合起来得到最终的结果。其中，共享稀有资源和平衡负载是计算机分布式计算的核心思想之一。云计算是分布式计算技术的一种，其最基本的概念是透过网络将庞大的计算机处理程序自动分拆成无数个较小的子程序，再交由多部服务器组成的庞大系统经搜寻、计算分析后将处理结果回传给用户。透过这项技术，网络提供者可以在数秒内，达成处理数以千万计甚至亿计的信息，达到和“超级计算机”同样强大效能的网络服务。传统的数据中心的解决方案中，一般都是在前期考虑到方案实施后的一段时间内的业务量和数据量，加入多余的计算单元和存储，以备不时之需。这样的方式直接导致了前期一次性投资的巨大，并且这样也无法保证计算需求和存储超出设计量时的系统性能。一旦扩容，问题将接踵而来。同时，传统的数据采集来源单一，且存储、管理和分析数据量也相对较小，大多采用关系型数据库和并行数据仓库即可处理。以Google为首的技术型互联网公司提出了Map/Reduce的技术框架，利用廉价的PC服务器集群，大规模并发处理批量事务。利用文件系统存储非结构化数据、加上完美的备份和容灾策略，这套经济实惠的大数据分析解决方案与之前昂贵的企业小型机集群+商业数据库方案相比，不仅没有丢失性能、而且赢得了可扩展性；在需要扩容时，只需增加个机柜，加入适当的计算单元和存储，集群系统会自动分配和调度这些资源，丝毫不会影响现有系统的运行。Hadoop是一个能够对大量数据进行分布式密集数据处理和数据分析的软件框架，同时是以一种可靠、高效、可伸缩的方式进行处理，使得用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力高速运算和存储。其基本的工作原理为：将规模巨大的数据分解成较小、易访问的批量数据并分发到多台服务器来分析。下图为MapReduce的并行处理架构。MapReduce的工作原理其实是先分后合的数据处理方式。Map即“分解”，把海量数据分割成了若干部分，分给多台处理器并行处理；Reduce即“合并”，把各台处理器处理后的结果进行汇总操作以得到最终结果。如右图所示，如果采用MapReduce来统计不同几何形状的数量，它会先把任务分配到两个节点，由两个节点分别并行统计，然后再把它们的结果汇总，得到最终的计算结果。云存储服务云存储是云计算概念的延伸和衍生发展出来的一个新概念，是指通过集群应用、网格技术或分布式文件系统等功能，网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统，保证数据的安全性，并节约存储空间。最终可保证使用者可以在任何时间、任何地点、通过任意可联网的装置连接到云上方便地存取数据。云存储更关注给其它组织提供一个巨大的存储空间，并且一个云存储设备通常被其它一个单一的组织运行。建立云存储的主要模块就是服务。云用户通过服务来添加或者访问资源。云存储服务通过SLA(服务等级协议)来提供QoS(服务质量)保证。在云存储中，存储服务通过DaaS(数据即服务)提供，这与云计算的其它服务如IaaS(基础设施即服务)，SaaS(软件即服务)，HaaS(硬件即服务)，一起形成一个PaaS(平台即服务)。所以，通过整合服务，服务用户能够建立一个定制的虚拟平台。这对于服务用户提供了更高的灵活性，相对于格的概念，它限制了数据共享的能力。当一个用户已经建立了一个虚拟的计算平台时，这个平台典型的情况下只能被这个用户使用。数据安全问题通常是通过隔离虚拟平台来完成的，这个平台只能被一个用户使用。云存储技术是主要解决复杂结构化、半结构化和非结构化大数据的可存储、可表示、可处理、可靠性及有效传输等关键问题。开发可靠的分布式文件系统、能效优化的存储、计算融入存储、大数据的去冗余及高效低成本的大数据存储技术；突破分布式非关系型大数据管理与处理技术、异构数据的融合技术、数据组织技术，研究大数据建模技术；突破大数据移动、备份和复制等技术；空间海量数据使用分布式分级方式存储，在提高存储空间利用率的同时降低能量消耗。开发冗余存储、动态协同、负载均衡、自动适应的分布式数据虚拟化管理方法和面向信息汇聚的数据调度机制，为了实现面向空间信息云服务体系的海量数据管理，提出了一种基于空间信息云服务的海量数据组织与管理机制。存储云结构如下图所示。云存储机构分为三层，从下到上第一层为存储设备层，采用分布式分级存储方式，由在线存储设备、近线存储设备、离线存储设备构成；第二层为存储设备虚拟化层，由虚拟化的存储设备组成，利用基于协同管理、负载均衡、自动适应技术实现资源的动态分配；第三层为数据虚拟化层，此层为利用虚拟化技术创建的数据中心，数据类型