云存储架构的发展.pdf

云存储架构的发展 杨钢2013/11/25 内容体验 • 存储技术发展简史 • 金山云存储的技术路线 • 简单的存储系统架构讨论 • 主要开源方案简介 • 部分新技术点的简介 存储技术发展简史 主要阶段 • 存储设备 – DAS / SAN / NAS – 控制器架构 • 存储集群 控制器架构的基本原理 • 硬盘级别数据冗余 – RAID 5/6 和LUN – RS 码 – 纠错 – 热备盘 • 条带化RAID • RAID 6 – N+2 容错 – 控制器实现复杂，效率降低，较少使用 云存储集群的基本原理 • 多台服务器集群 • 物理设备级别冗余 • 内网修复 金山云存储技术路线 需求 • 按部署模型区分 – 公有云存储 – 私有云存储 – 混合云存储 • 按使用场景区分 – 高性能计算 – 虚拟机平台（云主机/ VDI / etc ） – Key-Value 对象存储（网盘/ Hadoop / etc ） – 冷数据（备份/ 视频监控/ etc ） – 其他 需求 • 按分布模型分 – 集中式 – 异地容灾式 – 有主控分布式 – 对等分布式 需求维度 • 功能 • 性能 • 可靠性 • 价格 发展历程 • 2008年存储实验室 • 2009年WPS在线办公空间 • 2010年金山快盘 • 2011年小米Cloud • 2012年金山云 技术路线规划 • 开源软件 • 部分定制 • 完全自主开发 简单存储架构讨论 存储集群的基础架构 • API • [Scheduler / 调度器] • Name node / 元数据节点 • Data node / 存储节点 存储集群的基础架构 调度与元数据 • 静态Hash • 一致性Hash • 弹性Hash [ 一致性Hash ] 错误检测和修复 • R + W N • Logging • Fix on reading 数据块组织 • 大文件 – 条带化 • 小文件 – 块组织 快速元数据管理 快速元数据管理 多机房 • 主控式 • 对等式 异步备份 • 独立设备/ 物理位置独立 • 兼顾写入效率和带宽现状 • 具有较好的独立容错性 • 原子版本功能 • 适合对数据保全要求高的领域 开源方案简介 较多使用的开源方案 • HDFS – 数据分析场景：Hadoop MapReduce / HIVE – 适用于大文件流式追加和读取 – 非通用接口 • Lustre • GlusterFS – 使用NFS/CIFS代理提供通用服务 – 使用Hash 而不是