Ceph iSCSI Gateway Demo安装配置.pdfVIP

Ceph iSCSI Gateway Demo 安装配置 1. 背景介绍 ceph 作为一个真正意义上的统一存储系统，有着很好的应用前景，但到目前为止有多 种原因限制了其在传统存储应用领域真正大范围的应用，如客户端仅支持 GNU/Linux 系统， 内核态客户端实现也仅会合入高版本的内核中等。而对于 iSCSI 这种传统的存储应用而言， 由于客户端配置简单且足够通用，常见的各种系统（包括操作系统和应用系统）一般都对 iSCSI 有很好的支持，因此为了扩大 ceph 的应用范围，特别是应对只支持 iSCSI 的系统， ceph 必须通过某种途径实现对 iSCSI 的支持。 2.方案选型 ceph 集群目前支持三种形式的存储接口：文件、对象、块，其中块接口(即 RBD)与 SCSI 块设备读写所要求的接口一致，因此可以基于 ceph 的 RBD 提供 SCSI 存储系统后端。基 于 RBD 的 iSCSI 支持有多种实现思路，根据我们团队的现状，选择以下方案： 选择合适 的 iSCSI target 为其增加 RBD 后端支持，并在终端用户与 ceph 集群之 间架设 iSCSI 网关 （可以扩展成其它类型的如FC 网关）； 基本的架构图如下： 图1. Ceph iSCSI Gateway 基本框架 从上图可以看出，Ceph iSCSI Gateway 基本框架包括三个部分，ceph cluster、iscsi gateway 和client。下面简单介绍以下各个组件的方案选择。 2.1 SCSI target 框架 GNU/Linux 系统中流行的 SCSI target 框架或 iSCSI target 实现有如下几种：tgt 、SCST 、 Linux-IO。 1. tgt tgt 是一个用户态的 SCSI target 框架，在 GNU/Linux 内核直接集成 SCSI target 框架之前， 这是一个绝对主流的框架。 它的优点是： 1）简单，方便使用和维护； 2 ）另外已经有ceph 的target driver ，只是需要做性能优化； 3 ）因为工作在用户态，所以即使挂掉了，也不会对其他运行的程序产生影响； 它的缺点是： 1）支持的传输协议较少； 2 ）对SCSI 协议支持比较简单，一些cluster 中的特性比如PR 等都不支持，所以基于stgt 的方案不能在cluster 中使用； 3 ）由于是用户态框架，性能问题较差，根据网上的相关数据， tgt 在使用本地存储的 情况下，性能相比后面会提到的 SCST 、 LIO 等是有一定差距的。 2.SCST SCST 的核心模块工作在内核里，可以支持通过系统模块（VFS、块层）访问的后端存储 如块设备、文件设备以及 passthrough 的scsi 设备。 它的优点是： 1）支持更多传输协议 2 ）针对性能做了特殊的优化 3 ）除了基本的SCSI 协议支持外，还有一些高级支持： SCST 支持永久性预留（Persistent Reservation, PR ）；这是一个用于高可用集群中的存储 设备的 I/O 隔离与存储设备故障切换、接管的特性。通过使用 PR 命令，initiator 可 以在一个 target 上建立、抢占、查询、重置预留策略。在故障接管过程中，新的虚拟 资源可以重置老的虚拟资源的预留策略，从而让故障切换更快、更容易地进行。 SCST 可以使用异步事件通知（AEN ）来通告会话状态的变更。AEN 是一个 SCSI target 用 来向 initiator 进行 target 端的事件告知的协议特性，即使在没有服务请求的时候也可 以进行。于是 initiator 就可以在 target 端发生事件时，如设备插入、移除、调整尺寸 或更换介质时，可以得到通知。这让 init