云存储之龙存存储解决方案..pptVIP

目 录 关于龙存 中科院计算所多名博士于2005年发起，2007年公司正式成立 多名核心团队成员参加过曙光4000A设计、研制开发及建设 公司拥有100%自主知识产权的集群存储技术，处于全球业界领先地位 关于龙存 石油高性能计算数据存储困境 如何走出困境？ 如何走出困境？ 系统软件设计思想 LoongStore集群存储系统架构图 系统架构：功能模块组成 系统架构：工作流程 多元数据服务器集群技术 带外的元数据管理方式 元数据操作占文件系统总操作数的60% 元数据与数据分开独立存储管理 由专门的元数据服务器管理所有的元数据内容 减少元数据操作与数据读写操作之间的互相干扰 元数据操作粒度小 数据读写操作粒度大 多元数据服务器集群技术 完全自主研发的多元数据服务器集群技术 文件系统的整个名字空间按照元数据服务器的个数进行均分 每个元数据服务器负责其中的一份 元数据服务器两两配对，互相备份 一旦某元数据服务器出现故障，将由另一台自动接管故障元数据服务器的服务 当故障元数据服务器恢复后，可以将由它主管的服务从另一台上切回来 高速文件查询技术 单个目录下可高效存放几百万甚至上千万个文件或子目录 可提供高并发、快速文件查询操作 高效支持海量文件 高效数据读写聚合技术 将应用的数据分散存储在后端的多个存储设备上 自动兼顾不同设备的能力 由后端多个设备同时服务前端的数据读写请求 请求负载的分配兼顾不同设备的能力 充分发挥后端所有硬件的读写能力 高效数据读写聚合技术（续） 性能：线性增长 聚合带宽随着存储集群规模扩大而线性增长 规模扩大I/O通道线性增加 规模扩大I/O控制器线性增加 充分发挥所有存储硬件的空间资源与性能 基于开放架构硬件构建 可兼容所有的存储设备 低端设备 - JBOD - 低端盘阵 无RAID控制器的存储服务器 硬件拥有成本低 中端设备 普通盘阵：SAS、SATA盘阵 带RAID控制器的存储服务器 IP-SAN：iSCSI 硬件拥有成本低 高端设备 所有的光纤盘阵：HDS、EMC、IBM… 硬件拥有成本高 可靠性技术 基于低端设备 — 跨服务器文件数据冗余技术 基于中端设备 — LeoRAID 以文件为单位 跨网络、跨存储服务器 可设置不同的RAID跨度 支持RAID5和RAID6等通用RAID机制 基于高端设备 — 动态存储服务器切换技术 基于低端设备的数据高可靠技术 将每个数据段跨物理存储服务器冗余 允许在一套系统中为不同应用的数据设置不同的冗余度 冗余度可以动态在线设置 LoongStore系统内置了自动故障探测机制，可以动态探测不同的故障，并自动启动数据的恢复流程 自动数据恢复 全系统规模快速数据恢复技术 恢复过程中无须管理员参与，完全自动进行 恢复过程将数据直接生成在现有的其它未发生故障的存储服务器上 与传统RAID技术相比，只要系统中有足够的存储空间，恢复过程无须加入新的设备 恢复流程在后台完成，极大降低对前端应用服务器的影响 基于低端设备的数据高可靠技术 基于中端设备的数据高可靠技术 自主研发的LeoRAID技术 以文件为单位进行RAID设置 允许为不同的文件设置不同的级别和跨度 支持RAID5、RAID6等常用RAID机制 LoongStore系统内置了自动故障探测机制，可以动态探测不同的故障，并自动启动数据的恢复流程 快速自动数据恢复 全系统规模快速数据恢复技术 恢复过程中无须管理员参与，完全自动进行 恢复过程将数据直接生成在现有的其它未发生故障的存储服务器上 与传统RAID技术相比，只要系统中有足够的存储空间，恢复过程无须加入新的设备 恢复流程在后台完成，极大降低对前端应用服务器的影响 基于中端设备的数据高可靠技术（续） 基于中端设备的数据高可靠技术（续） 基于高端设备的数据高可靠技术 前提：高端SAN硬件可靠性高、故障率小 需要解决的问题：存储服务器的故障 正常情况下一个存储服务器负责其中的一个LUN 当发现存储服务器故障时，自动进行LUN管理权的自动切换 切换过程对前端应用透明 当故障存储服务器恢复时，可回切LUN管理权 基于高端设备的数据高可靠技术（续） 基于高端设备的数据高可靠技术（续） 扩展性：卓越的平滑扩展能力 扩展性：动态在线扩容和智能化的I/O平衡 简易管理 传统的存储系统 随着存储规模的扩大，相互独立的存储系统逐渐增多 管理维护工作量成倍增加 数据迁移、同步 手工故障恢复 LoongStore集群存储系统 单点管理、监控 内置全自动管理机制，减少管理员的参与 管理1PB的存储与10TB的存储工作量几乎相同 中英文界面切换 简易管理（续） 单点管理监控 支持异构环境共享存储系统 存储系统的价值评估：一个类比 存储系统价值的评估：核心要素 总体拥有成本（