基于国产服务器的分布式存储技术研究.docVIP

精品论文 参考文献 基于国产服务器的分布式存储技术研究 广东电网有限责任公司东莞供电局 523000 摘要：介绍了常见的分布式存储技术及目前国内外分布式存储技术现状，针对基于国产服务器的分布式存储目前存在的不足，即分布式存储在面向低功耗多核处理器时的不足、面向高带宽内存时的不足，以及面向在面向异构存储时的不足，本文提出了一些优化的思路和解决方法。 关键词：国产服务器、分布式存储、优化 引言 随着“互联网+”时代的来临，电网企业需要处理的数据已经远超例如“客户用电信息”这样的结构化数据，半结构化和非结构化的数据在电网企业的生产经营活动中出现地越来越多。这对我们的数据存储和处理技术都提出了新的挑战。 受制于物理定律和功耗等原因，目前（国产）分布式计算系统提升效能的主要手段已不仅局限于提升单个元器件（如CPU、内存等）的性能，而是更加依赖挖掘系统层面的并行能力[6] [7]。 另一方面，在国家愈加重视信息安全的大背景下，服务器和存储等信息化基础设施的自主可控显得尤为重要。纵观当前国产服务器的研发情况，仍以x86架构为主，未完全实现对服务器最核心部件CPU的自主可控。随着2014年IBM对OpenPower技术（属于RISC架构）的开放，国产服务器也将采用OpenPower架构CPU进行生产，并形成自主可控的国产服务器技术。但由于基于国产服务器的分布式计算系统的技术积累相对较浅，市场应用并不广泛，其分布式存储架构的性能和扩展性等相较国际先进技术仍存在较大差距，同时各类用户对基于国产服务器存储架构的了解也不够深入。 分布式存储技术 数据存储技术起源于70年代的终端/主机计算模式，当时数据集中存放在主机上，因此数据存储的核心是主机上高效的文件系统。随着80年代以后客户机/服务器计算模式的普及，网络上的文件服务器和数据库服务器通常成为核心数据聚集的地方。同时，在网络上分布的客户机也会存放一些数据，数据分散存放的特点促进了数据存储技术向分布式数据存储快速发展[1]。 分布式存储系统是大量普通廉价的服务器通过Internet互联，对外作为一个整体提供存储服务，具有高性能、高可靠性、高可扩展性、透明性和自治性等特点[5]。 在分布式存储领域中，已经有许多研究人员开展了大量的研究工作，提出了许多的技术和方法。这些系统中，有些尚在实验室研究阶段，有些已经成为工业标准。比如网络存储技术包括网络附加存储（Network Attached Storage-NAS）、存储区域网（Storage Area Network ndash;SAN）、IP存储等；集群存储技术包括Global File System（GFS）、xFS、MFS以及基于Linux集群的高性能文件系统PVFS（Parallel Virtual File System）；分布式文件系统包括NFS、AFS、Coda、以及Google的HDFS文件系统等；网格存储技术包括Grid计算；P2P网络存储技术包括Napster、Gnutella、FreeNet、OceanStore等[2]。 国外分布式存储技术 目前国外主流的分布式文件系统有Hadoop分布式文件系统（HDFS）、Ceph系统；分布式键值系统有Dynamo；分布式表格系统有Bigtable；分布式数据库有Google Spanner； Hadoop分布式文件系统（HDFS）是一款适合运行在通用硬件（commodity hardware）上的分布式文件系，其核心思想来源于Google在2003年发表的”Google File System”一文。HDFS能提供高吞吐量的数据访问，适合大规模、非结构化数据集上的应用。HDFS大体上分为名字节点（NameNode）、数据节点（DataNode）、客户端（Client）三个部分。HDFS内部是将一个文件分割成一个或者多个数据块，并将这些数据块存储在一组不同的数据节点，为了保证数据的可靠性，采用多副本的策略对数据块进行存储[3] [4]。 图1：HDFS架构 Ceph是一款为性能、可靠性和扩展性而设计的统一的、分布式的存储系统，同时提供对象存储、块存储和文件系统存储三种功能。在Ceph系统最为关键和重要的是基础存储系统RADOS，它是一个完整的对象存储系统，所有存储在Ceph系统中的用户数据事实上最终都是由这一层来存储的。而Ceph的高可靠、高可扩展、高性能、高自动化等等特性本质上也是由这一层所提供的。 图2：Ceph逻辑层次 国内分布式存储技