TaoCloudXDFS分布式存储系统技术白皮书v2.PDF

TaoCloud XDFS 分布式存储系统 技术白皮书v2.0 一、 产品概述 数据的爆炸式增长和数据的高频交互共享对存储系统的存储规模、扩展能 力 、共享能力提出了更为严苛的需求，同时，IT 平台开放化、硬件标准化的趋 势要求存储软件具有更强的灵活性，以基于各类硬件平台实现快速、高效的软件 定义存储 。 XDFS 是TaoCloud 基于业界领先和广泛使用的GlusterFS 分布式文件系统， 结合TaoCloud 技术团队多年的工程化及系统优化经验，针对非结构化数据应用 环境推出的海量分布式存储系统。 XDFS 遵循软件定义存储的设计哲学，可部署于任意工业标准的X86 服务器 上，甚至可利用不同配置和规格的硬件服务器组建大规模分布式集群。 XDFS 可实现64PB 的海量存储规模、 可线性扩展的高性能。XDFS 可实现 动态的容量及性能扩展、卓越的系统高可用性；借助虚拟化和并行化的卷组、文 件系统资源管理，可构建大规模、高性能、动态可扩展的共享存储架构。 二、 技术架构 XDFS 逻辑上由存储服务器（brick server）、客户端以及NFS/CIFS 存储 网关组成。XDFS 分布于存储服务器之上，最终的文件数据通过统一的调度策略 分布在不同的存储服务器上。所有被打散的数据以 XDFS 格式存储在各个存储 服务器之上，多个存储服务器通过客户端或存储网关上的卷管理器组成集群。 XDFS 将文件系统管理、卷管理以及RAID 管理集合在一起，横跨集群内的所有节 点,向前端应用呈现智能对称文件系统，实现提供统一的管理、更快的文件访问 速度，以及极高的可用性，最高可实现64PB 的集群管理容量。 XDFS 分布式存储系统提供NFS/CIFS 、POSIX 、FTP 、OpenStack 等接口， 可完整支持文件存储、虚机镜像文件存储、大规模目录服务、高性价比备份存储 等应用场景。 软件定义存储 XDFS 采用软件定义存储的设计，可有效实现软硬解耦，逻辑抽象、资源池 化，可灵活支持各类标准X86 硬件；通过2 次开发，可支持飞腾、龙芯等国 产化平台。 XDFS 提供了可堆叠模块化设计的强大机制，借助这种机制可以高效简便地 扩展XDFS 的功能。每个功能以模块形式实现，以积木方式进行简单组合，即 可实现复杂功能。 无中心的系统架构 XDFS 采用去中心化的对等设计，每个节点既是数据服务器，也是元数据服 务器，因此不再需要独立的元数据服务器，也不存在独立元数据服务器导 致的系统扩展瓶颈。XDFS 可以弹性扩展至数百个集群节点，实现超大的存 储规模。 基于Hash 算法的快速数据定位 对于分布式存储系统而言，元数据处理是决定系统扩展性、性能以及稳定 性的关键因素。传统分布式存储系统使用集中式或分布式元数据服务来维 护元数据，在用多户高并发等应用环境下，对于集中式元数据处理，MDC 无疑会成为整套系统中的单点故障和性能瓶颈，而分布式元数据服务又存 在性能负载和元数据同步致性问题。特别是对于海量文件的应用，元数据 管理面临巨大的挑战。 XDFS 采用无元数据服务设计，取而代之使用弹性Hash 算法来定位文件， 从根本上解决元数据管理这一难题，从而获得近乎无限规模的线性高扩展 性，同时也大幅提高了系统性能和可靠性。集群中任何节点只需要相对路 径和文件名就可以对数据进快速定位和读写，无元数据交互过程，文件定 位可以独立并行化进行，其具体流程如下：  根据文件名由SFL 算法计算出对应hash 值  根据hash 值在集群中确定数据所在节点  对所选节点路径下的数据进行数据访问 丰富的客户端支持 XDFS 支持标准POSIX 接口，NFS/CIFS 接口,FTP 接口，可完整支持各类数 据访问模式；对于特定应用，TaoCloud 可通过2 次开发提供API 级的接口 调用。 数据智能 XDFS 提供智能的数据管理策略，包括智能的数据定位，智能的数据分布， 智能的数据均衡。 存储高可用 XDFS 提供副本和纠删码两种数据/集群保护模式，用户可根据应用类型、 数据重要性、性能、成本平衡选择配置模式，实现数据高可用保护和存储 服务高可用保护。 XDFS 可实现不停机的在线扩展，大大缩减或消除计划内的停机时间。 三、 产品形态 XDFS 是一套高效的分布式文件系统，结合标准X86 硬件，可迅速组建