Ceph开源分布式存储运维指南.pdf

Ceph 开源分布式存储运维指南 1 前言 本 文 对 比 出 HDFS 与 Ceph 这 两 种 几 乎 完 全 不 同 的 存 储 系 统 分 别 有 哪 些 优 缺 点 、 适 合 哪 些 场 景 。 2 站 在 一 个 SRE 的 角 度 ，对 于 分 布 式 存 储 ，尤 其 是 开 源 的 分 布 式 存 储 ，我 认 为 主 要 为 商 业 公 司 解 决 了 如 下 几 个 问 题 ： 可 扩 展 性 ， 满 足 业 务 增 长 导 致 的 海 量 数 据 存 储 需 求 。 比 商 用 存 储 便 宜 ， 大 幅 降 低 成 本 。 稳 定 ， 可 以 驾 驭 ，好 运 维 。 总 之 目标 就 是 ： 又 好 用 ， 又 便 宜 ， 还 稳 定 。 但 现 实 似 乎 并 没 有 这 么 美 好 …… 本 文 将 从 这 三 个 我 认 为 的 根 本 价 值 出 发 ， 分 析 我 运 维 Ceph 的 体 会 ， 同 时 对 比 中 心 化 的 分 布 式 存 储 系 统 ， 比 如 HDFS ， 横 向 说 一 说 。 可扩展性 Ceph 声 称 可 以 无 限 扩 展 ， 因 为 它 是 基 于 CRUSH 算 法 ， 没 有 中 心 节 点 。 而 事 实 上 ， Ceph 确 实 可 以 无 限 扩 展 ， 但 Ceph 的无 限 扩 展 的 过 程 ， 并 不 美 好 。 首 先 梳 理 一 下 Ceph 的 写 入 流 程 ：Ceph 的 新 对 象 写 入 需 要 经 过 PG 这 一 层 预 先 定 义 好 的 定 额 Hash 分 片 ， 然 后 PG ， 再 经 过 一 次 集 群 所 有 物 理 机 器 硬 盘 OSD 构 成 的 Hash ， 最 后 落 到 物 理 磁 盘 。 3 因 此 ， Ceph 的 所 有 对 象 ，是 先 被 pre-hash 到 了 一 个 固 定 数 量 的桶（ PG ）当 中 ，然 后 根 据 集 群 的 整 体 物 理 架 构 crushmap ， 选 择 落 在 具 体 的 机 器 磁 盘 上 。 这 对 扩 容 有 什 么 影 响 呢 ？ 扩容粒度 我 给 扩 容 粒 度 的 定 义 是 ： 一 次 可 以 扩 容 多 少 台 机 器 。 Ceph 在 实 践 中 ， 扩 容 受 “容 错 域 ” 制 约 ， 一 次 只 能 扩 一 个 “容 错 域 ” 。 容 错 域 就 是 ：副 本 隔 离 级 别 ，即 同 一 个 Replica 的 数 据 ，放 在 不 同 的 磁 盘 / 机 器 /Rack/ 机 房 。 容 错 域 这 个 概 念 ， 在 很 多 存 储 方 案 里 都 有 ， 包 括 HDFS 。 为 什 么 Ceph 会 受 影 响 呢 ？ 因 为 Ceph 没 有 中 心 化 的 元 数 据 结 点 ， 导 致 数 据 放 置 策 略 受 之 影 响 。 4 数 据 放 置 策 略 ， 即 一 份 数 据 replica ， 放 在 哪 台 机 器 ， 哪 块 硬 盘 。 中 心 化 ， 比 如 HDFS ，会 记 录 每 一 个 文 件 ， 下 面 每 一 个 数 据 块 的 存 放 位 置 。 这 个 位 置 是 不 会 经 常 变 动 的 ，只 有 在 文 件 新 创 建 、 Balancer