分布式文件存储CephFS概述.docx

????

???

分布式文件存储CephFS概述

???

?

?

?

?

???

???

?

???

?

?

1.Ceph架构介绍

Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。

特点如下：

-高性能

a.摒弃了传统的集中式存储元数据寻址的方案，采用CRUSH算法，数据分布均衡，并行度高。

b.考虑了容灾域的隔离，能够实现各类负载的副本放置规则，例如跨机房、机架感知等。

c.能够支持上千个存储节点的规模，支持TB到PB级的数据。

-高可用性

a.副本数可以灵活控制。

b.支持故障域分隔，数据强一致性。

c.多种故障场景自动进行修复自愈。

d.没有单点故障，自动管理。

-高可扩展性

a.去中心化。

b.扩展灵活。

c.随着节点增加而线性增长。

-特性丰富

a.支持三种存储接口：块存储、文件存储、对象存储。

b.支持自定义接口，支持多种语言驱动。

使用场景：

块存储?(适合单客户端使用)

典型设备：磁盘阵列，硬盘。

使用场景：

a.docker容器、虚拟机远程挂载磁盘存储分配。

b.日志存储。

...

文件存储?(适合多客户端有目录结构)

典型设备：FTP、NFS服务器。

使用场景：

a.日志存储。

b.多个用户有目录结构的文件存储共享。

...

对象存储?(适合更新变动较少的数据，没有目录结构，不能直接打开/修改文件)

典型设备：s3,swift。

使用场景：

a.图片存储。

b.视频存储。

c.文件。

d.软件安装包。

e.归档数据。

...

系统架构：

Ceph生态系统架构可以划分为四部分：

Clients：客户端（数据用户）

mds：Metadataservercluster，元数据服务器（缓存和同步分布式元数据）

osd：Objectstoragecluster，对象存储集群（将数据和元数据作为对象存储，执行其他关键职能）

mon：Clustermonitors，集群监视器（执行监视功能）

2.NFS介绍

1.NAS(NetworkAttachedStorage)

-网络存储基于标准网络协议NFSv3/NFSv4实现数据传输。

-为网络中的Windows/Linux/MacOS等各种不同操作系统的计算机提供文件共享和数据备份。

-目前市场上的NAS存储是专门的设备，成本较高，且容量不易动态扩展，数据高可用需要底层RAID来保障。

-CephFS属于NAS的解决方案的一种，主要优势在成本，容量扩展和高性能方案。

2.NFS(NetworkFileSystem)

-NFS即网络文件系统，通过使用NFS，用户和程序可以像访问本地文件一样访问远端系统上的文件。

-NFS客户端和NFS服务器之间正是通过NFS协议进行通信的。

-目前NFS协议版本有NFSv3、NFSv4和NFSv4.1，NFSv3是无状态的，NFSv4是有状态，NFSv3和NFSv4是基于Filelayout驱动的，而NFSv4.1是基于Blocklayout驱动。本文主要使用NFSv4协议。

3.分布式文件系统比较

4.CephFS介绍

说明：

-CephFS是个与POSIX标准兼容的文件系统。

-文件目录和其他元数据存储在RADOS中。

-MDS缓存元信息和文件目录信息。

-核心组件：MDS、Clients、RADOS。

-Client–MDS?

元数据操作和capalities。

-Client–OSD

数据IO。

-MDS–OSD

元数据IO。

-挂载方式：

-ceph-fuse...。

-mount-tceph...。

-可扩展性?

-client读写osd。

-共享文件系统?

-多个clients可以同时读写。

-高可用?

-MDS主备模式，Active/StandbyMDSs。

-文件/目录Layouts?

-支持配置文件/目录的Layouts使用不同的Ppool。

-POSIXACLs?

-CephFSkernelclient默认支持。

-CephFSFUSEclient可配置支持。

-NFS-Ganesha?

-一个基于NFSv3\v4\v4.1的NFS服务器

-运行在大多数Linux发行版的用户态空间下，同时也支持9p.2000L协议。

-Ganesha通过利用libcephfs库支持CephFSFSAL(FileSystemAbstractionLayer，文件系统抽象层)，可以将CephFS重新Export出去。

-ClientQuotas?

-