分布式对象存储技术和应用.pptVIP

分布式对象存储技术和应用 2011.10 目录 研究总体思路 分布式对象技术解析 支撑云相关工作汇报 公众服务云相关工作汇报 下一步工作建议 2 研究思路概述 What ：首先搞清楚是什么 分布式存储、对象存储技术核心实质 Why ：然后追寻为什么 技术产生原因背景，旨在解决何种问题 How ：最后落实怎么做 技术架构、技术方案，以及具体应用案例； 3 目录 研究总体思路 分布式对象存储技术解析 支撑云相关工作汇报 公众服务云相关工作汇报 下一步工作建议 4 分布式 CAP 理论： · C: Consistency 一致性 · A: Availability 可用性 ( 指的是快速获 取数据 ) · P: Tolerance of network Partition 分 区容忍性 ( 分布式 ) ? CAP 原理告诉我们，这三个因素最多只 能满足两个，不可能三者兼顾。对于分 布式存储系统而言，分区容忍性是基本 需求，因此只有 CP 和 AP 两种选择。 CP 模式保证分布在网络上不同节点数据的 一致性，但对可用性支持不足 ;AP 模式主 要实现”最终一致性”来确保可用性和 分区容忍性，但弱化了一致性需求。分 布式存储系统，它们的基本实现都是非 结构化 P2P 存储系统，通过一个服务器充 当索引服务器，然后节点之间相互通信 。 5 对象 ? 谈到“面向对象”这个词，人们一定会马上联想到计算机程序设计中的 面向对象，在编程中它的本质是把数据和处理数据的过程当成一个整 体 —— 对象；而我们今天要谈的面向对象存储技术，本质上也是把待处 理的数据当成一个整体 —— 对象，但是却不能把它等同于前者。 ? 每个 Object 是数据和数据属性集的综合体。数据属性可以根据应用的需 求进行设置，包括数据分布、服务质量等。在传统的存储中，块设备要 记录每个存储数据块在设备上的位置。 Object 维护自己的属性，从而简 化了存储系统的管理任务，增加了灵活性。 Object 的大小可以不同，可 以包含整个数据结构，如文件、数据库表项等。 因此， 对象是数据存储的 基本单元 6 对象存储 对象 (Object) 包含了文件数据以及相关的属性信息， 可以进行自我管理 基本存储单元 名字空间：对象 ID 数据 元数据 元数据类似于 inode ，描述了对象在磁盘上 的块分布 属性 根据需要而定义 E.g. 多媒体对象的延迟和吞吐请求 因此，对象存储就是实现 对象 具有高性能、高可靠性、跨 平台以及安全的数据共享的存储体系 ， 是块和文件之外的 存储形式 7 目录 研究总体思路 分布式对象存储技术解析 分布式对象存储技术必然性 公众服务云相关工作汇报 下一步工作建议 8 网络存储需要解决的主要问题 随着网络技术的发展，网络化存储逐渐成为主流技术。其 需要解决的主要问题如下： 提供高性能存储，在 I/O 级和数据吞吐率方面能满足成百上千台集 群服务器访问请求； 提供安全的共享数据访问，便于集群应用程序的编写和存储的负 载均衡； 提供强大的容错能力，确保存储系统的高可用性。 9 主流网络存储结构的问题 存储区域网（ SAN ）： 高性能 容错性 安全共享？ 附网存储（ NAS ）： 扩展性 共享 性能？ 对象存储体系结构提供了一个带有 NAS 系统的传统的文件 共享和管理特征的单系统映象（ single-system-image ）文 件系统，并改进了 SAN 的资源整合和可扩展的性能 10 必然趋势 对象存储体系结构提供了一个带有 NAS 系统的传统的文件 共享和管理特征的单系统映象（ single-system-image ）文 件系统，并改进了 SAN 的资源整合和可扩展的性能 目前对象存储系统已成为 Linux 集群系统高性能存储系统的 研究热点，如 Panasas 公司的 Object Base Storage Cluster System 系统和 Cluster File Systems 公司的 Lustre 等。 对象存储：块和文件之外的存储形式 11 研究总体思路 分布式对象存储技术解析 分布式对象存储技术必然性 分布式对象存储技术结构 应用案例 12 对象存储结构 ? 对象存储（ Object-Based Storage, OBS) 综合了 NAS 和 SAN 的优点，同时具有 SAN 的高速直接访问和 NAS 的数据共享等优势，提供了具有高性能、高可靠性、 跨平台以及安全的数据共享的存储体系结构。 传统块存储与对象存储 13 对象存储结构 传统的访问层次和虚拟数据访问模型 14 对象存储设备（ OSD ） 对象是数据存储的基本单元 提供类似文件的访问接口 Seagate OSD 设备 CPU+ 磁盘 +NIC 15 对象存