完整版非结构化存储方案.docxVIP

非结构化数据存储方案 一、存储类型体系： 1.1 存储类型体系结构图 直接附加存储 DAS 块存储 IP SAN 存储区域网络 SAN FC SAN 存 储 类 型  网络附加存储 NAS 分布式文件存储 HDFS（ hadoop 分布式 文件系统 ） OpenStack— Swift 对象存储 ceph 1.2 存储类型体系描述 （1） 块存储：将存储区域划分为固定大小的小块， 是传统裸存设备的存储 空间对外暴露方式。块存储系统将大量磁盘设备通过 SCSI/SAS或 FC SAN与存储服务器连接，服务器直接通过 SCSI/SAS或 FC协议控制和访问数据。主要包括 DAS和 SAN两种存储方式。对比如下图： 应用服务器  应用服务器 文件系统  文件系统 光纤交换机 JBOD RAID  RAID 直接附加存储 DAS以主机为中 SAN采用块数据组织，通过可 心，将外部的数据存储设备通 伸缩的高速专用存储网络互联 过 SISC/IDE/ATA等 I/O 总线直接 不同类型的存储设备和服务 连接到服务器上，使数据存储 器，提供内部任意节点间多路 设备是服务器结构一部分。 可选择的数据交换。 （2） 分布式文件存储：文件存储以标准文件系统接口形式向应用系统提供海量非结构化数据存储空间。 分布式文件系统把分布在局域网内各个计算机上的共享文件夹集合成一个虚拟共享文件夹， 将整个分布式文件资源以统一的视图呈现给用户。 它对用户和应用程序屏蔽各个节点计算机底层文件系统的差异， 提供用户方便的管理资源的手段和统一的访问接口。主要包括 NAS和 HDFS两种存储方式。 网络附加存储 NAS结构如图： 应用服务器 以太网交换机 文件系统 文件系统 RAID RAID 网络附加存储 NAS是一种文件网 络存储结构，通过以太网及其他 标准的网络拓扑结构将存储设备 连接到许多计算机上，建立专用 于数据存储的存储内部网络 HDFS分布式文件系统存储结构如图： HDFS  NameNode功能 · 处理来自客户端的文件访问 · 负责数据块到数据节点之间的映 射 NameNode（Master服 器） DataNode功能 · 管理挂载在节点上的存储设备 DataNode（Slave DataNode（Slave · 在NameNode的统一调度下创建、 ?? 删除和复制数据块 服 器） 服 器） （3） 对象存储：对象存储为海量非结构化数据提供 Key-Value这种通过键 - 值查找数据文件的存储模式， 提供了基于对象的访问接口， 有效地合并了 NAS和 SAN的存储结构优势，通过高层次的抽象具有 NAS的跨平台共享数据优点，支持直接访问具有 SAN的高性能和交换网络结构的可伸缩性。主要包括 swift 和 ceph 两种实现形式。 Swift，OpenStack Object Storage（Swift）是 OpenStack项目的子项目 之一，被称为对象存储。它构建在比较便宜的标准硬件存储基础设 施之上，无需采用 RAID（磁盘冗余阵列），通过在软件层面引入一致性散列技术和数据冗余性，牺牲一定程度的数据一致性来达到高可用性和可伸缩性，支持多租户模式、容器和对象读写操作，适合解决非结构化数据存储问题。 ceph，Linux 下 PB 级分布式文件系统，可轻松扩展 PB容量，提供了对多种工作负载的高性能和高可靠性。它大致分为四部分：客户端 （数据用户），元数据服务器（缓存和同步分布式元数据） ，一个对象存储集群（包括数据和元数据） ，以及最后的集群监视器（执行监视功能）。 二、非结构化大数据分布式存储架构 非结构化 PB 级大数据分布式存储架构，相对于其各自存储结构及不同应用 场景，结合国产化大数据平台特性，现给出两种解决方案。第一种是 基于 OpenStack子项目 swift 的分布式大数据存储方案，另一种是基于 ceph 的分布式大数据存储方案 2.1.1 基于 openStack 子项目 swift 的大数据分布式存储 Swift 集群部署架构图： 客 户 端 用 户  client PUT DATA GET DATA Load Balancer（负载均衡管理器） 虚 拟 存 储 服 务 器  节点1 节点2 节点3 节点4 节点5 Proxy Proxy Proxy Proxy Proxy Server Server Server Server Server Object Object Object Object Object Server Server Server Server Server Container Container Container Container Container Server