CoolStor大规模集群存储系统.pptVIP

产品扩展性：不停业务扩展容量 通过手动数据恢复以及负载均衡功能，完全可实现在线更换存储系统中所有老旧设备 逻辑架构图 节 点 通 讯 状态监控、性能监控、调度管理、维护升级 存储设备（X86服务器集群，磁盘阵列） 缓 存 管 理 数 据 均 衡 动态迁移 权 限 控 制 网 络 重 构 安全 数据多副本 字节锁 故障容错 快速恢复 性能 聚合带宽 元数据管理 并发控制 索引管理 接口 POSIX模块接口 集群负载均衡系统、分布式文件系统 应用层 功能层 核心层 基础层 存储层 协 同 管 理 流 量 统 计 Windows Linux Mac 用户端 Windows/linux 管理端 自 动 报 警 容 量 限 制 方案对比 应用案例 产品介绍 议程 与Panasas方案对比 架构参数 Panasas CoolStor 架构重点 存储系统只对大文件读写做了优化，无小文件优化策略 分别对大文件和小文件读写做了双重优化 硬件 刀片服务器，每台刀片带2块存储磁盘，硬件要求非常高 通用机架式服务器，每台服务器可带1-36块磁盘 ，硬件要求较低 单卷容量 PB级（官方网站给出） 300PB 数据保护 分层校验，通过动态复制数据段进行数据块损坏时数据保护，单点故障与整个磁盘损坏则完全通过RAID机制加以实现 文件系统可自动监测到丢失或损坏的数据块，并根据数据块进行恢复；可根据应用需求对存储系统中的目录分别部署不同的数据保护机制 数据丢失重建 500GB数据重建时间在90分钟左右，且需要借助所有刀片同时参与数据恢复，影响整体性能。 750GB磁盘数据恢复时间为15分钟且数据恢复时对前端没有丝毫影响 成本 高 低 支持平台 Linux Linux、Windows、MAC 与 LuStre方案对比 架构参数 Lustre CoolStor 元数据服务器 Active-Standby 2台服务器+SAN（为达到高可用效果需要共享存储，如SAN） Active-Active，最大支持128台服务器+内置硬盘（任何类型的磁盘） 可靠性方法 磁盘：依靠硬件RAID保护 服务：后端硬件用SAN，IO服务器之间failover；任何存储节点宕机会影响服务连续性 磁盘与服务连续性：通过使用文件副本策略，消除磁盘、存储节点、盘阵的单点故障 聚合带宽 上百GB/s 上百GB/s 文件数量 1亿 2000亿，实际案例400亿文件 可靠性 屏蔽了oss宕机造成影响(Failover)，如果控制器损坏或者RAID里面多块磁盘损坏会导致数据丢失 屏蔽了存储服务器、网络、硬盘、控制器损坏等各类异常（通过文件副本策略，实现数据的全局恢复） 扩展支持 难以支持在线扩展，且没有数据迁移功能，扩容后数据分配不均 支持在线动态扩展，扩展后可以数据迁移，重新平均数据分布（不停应用） 支持平台 Linux Linux、Windows、Mac 与集群NAS方案对比 架构参数 Isilon OneFS CoolStor 架构 昂贵的Infiniband网络，复杂的相互连接，数据存储服务器最大支持144台 通用服务器和网络，存储服务器可支持超过4096台 可扩展性 10PB（白皮书） 300PB 存储特点 大文件 大小文件 数据保护 跨节点的Raid 5 奇偶校验，任何磁盘或机箱故障会导致复杂的再分配和再平衡过程 多副本机制或者跨节点校验模式，可根据需求动态设置快速恢复时间，1T磁盘半小时内恢复完成 负载均衡 基于IP地址池的后端负载均衡 透明的客户端和存储服务器之间的负载平衡请求 安全性 数据在存储到数据服务器上之后进行切片分发，如果此时服务器出现损坏则会出现数据丢失 数据分发与切片全部在前端完成，只要数据存储到后端就能保证数据的安全性 元数据机制 元数据信息存放在每台数据服务器上，且每台数据服务器要存储所有的元数据信息，再通过后台进行复杂的数据交换，保证数据的一致性 分布式存放在多台元数据服务器中，每台元数据服务器的元数据管理不重复，通过独有元数据保护机制和校验算法保证数据的一致性 与集群NAS方案对比 架构参数 华赛 CoolStor 单卷容量 336TB，最大支持16个存储节点 300PB，支持4096以上的存储节点数量 单卷文件数量 2亿，元数据2个,主备模式 实际案例中为400亿文件数量，可支持2000亿以上文件数量，元数据可扩展至128台 扩展性 支持在线扩展，但需成对增加，不支持在线删减服务器数量 按需在线扩展，可扩展任意台数，且可在线删减存储服务器数量 元数据故障切换时间 时间长，对应用有影响，会中断