2020云存储之龙存存储解决方案.pptVIP

31 ? 传统的存储系统 – 随着存储规模的扩大，相互独立的存储系统逐渐增多 – 管理维护工作量成倍增加 ? 数据迁移、同步 ? 手工故障恢复 ? LoongStore 集群存储系统 – 单点管理、监控 – 内置全自动管理机制，减少管理员的参与 – 管理 1PB 的存储与 10TB 的存储工作量几乎相同 – 中英文界面切换 简易管理 32 ? 单点管理监控 简易管理（续） 33 应用服务器 龙存集群存储系统（ S 系列） MDS 元数据 服务器集群 IS 存储服务 节点集群 龙存 LeoFS 协议 标准 IP 网络 支持异构环境共享存储系统 1 目 录 关于龙存 1 2 3 4 3 5 应用案例 石油高性能计算数据存储困境 龙存集群存储系统解决方案 P2 P5 P9 P36 2 1 、关于龙存 3 关于龙存 ? 中科院计算所多名博士于 2005 年发 起， 2007 年公司正式成立 ? 多名核心团队成员参加过曙光 4000A 设计、研制开发及建设 ? 公司拥有 100% 自主知识产权的集群 存储技术，处于全球业界领先地位 核心 团队 技术 投资 服务 合作 管理 ? 研发体系严格遵 循 CMM 体系标准 ? 业务流程不断优 化的灵活性机制 ? 独特的考核和激 励机制 ? 德同资本初期投资 ? 德同也是无锡尚德太 阳能、百度的早期投 资者 ? 原厂商快速反应和 解决问题能力 ? 快速的用户定制开 发能力 ? 本地运行辅导能力 ? 开放的产品体系 架构 ? 灵活的产品组合 合作方式 ? 广泛的行业应用 合作 4 关于龙存 ? 软件著作权和产品证书 5 2 、石油高性 能计算数据 存储困境 6 石油高性能计算数据存储困境 如何保证存储 系统共享访问 的性能？ 如何保证海量 数据的可靠？ 如何实现扩容时 业务不中断？ 如何保证性能 随存储规模线 性增长？ 7 如何走出困境？ 尝试一： SAN+ 共享文件系统 FC SAN 控制 器 控制 器 LUNn LUN1 FS 客户端 FS 客户端 FS 客户端 FS 客户端 … ? 共享文件系统支持并发客户端数量有限 且普遍性能较低 ? 控制器成为系统瓶颈，多任务会造成性 能急剧下降 ? Raid 只能在某一块 Raid 控制卡上实现 ，一个 Raid 组内同时损坏两块硬盘，或者 raid 组设备失效，会造成数据丢失 ? 不能在线扩容 ? 扩容造成多个 LUN 空间，不能形成单一 命名空间 8 如何走出困境？ 尝试二： NAS 头 +SAN ，或集群 NAS FC SAN 控制 器 控制 器 LUNn LUN1 … ? NAS 头数量有限，整体输出 带宽受限 ? 同一个 LUN 空间同时只能被 一台 NAS 头访问，实际性能 并未得到提升 ? 仍然不能解决可靠性问题 ? 不能在线扩容 IP 网络 9 3 、龙存集群存储 系统解决方案 10 ? 采用集群化技术构建全局统一的大规模文件系统 – 数据分发在各个存储节点上，解决传统存储系统单一数据出口造成 的数据访问瓶颈问题 – 以工业标准的硬件作为构建单元，降低系统的整体拥有成本 – 集群化架构使得存储系统构建单元可以灵活扩展，提高系统长期的 数据存储和处理能力 – 集群化消除了单一故障点，提高了系统的可靠性 ? 突破传统存储系统的思路，面向海量并发、高 I/O 吞吐率的应用场合 – 高达数百万次的 IOPS(OS issued IO request) – 突破 10GB 的 I/O 带宽 ，高效支持上百亿的文件 – 单一目录 40,000/ 秒的文件查询操作 系统软件设计思想 11 LoongStore 集群存储系统架构图 12 ? 应用服务器（ Application Server ， AS ） – 计算节点 系统架构：功能模块组成 ? 智能存储服务器 ( Intelligent Storage Server ， iStore ) – 存储用户的实际数据，是系统的存储资源提供者 ? 元数据服务器（ Metadata Server ， MDS ） – 管理文件系统的元数据（包括文件目录树组织、属性维护、 文件操作日志记录、授权访问等） – 管理整个存储系统的名字空间 – 为前端应用服务器集群提供全局一致的文件系统映像 13 MDS 集群 1. AS-MDS 文件访问请求 2. MDS-AS 文件访问应答 3. AS-iStore 文件读写访问 访问请求 获取文件相关信息 数据读写 … iStore 集群 AS 系统架构：工作流程 14 ? 带外的元数据管理方式 –元数据操作占文件系统总操作数的 60% –元数据与数据分开独立存储管理 –由专门的元数据服务器管理所有的元数据内容 –减少元数据操作与数据读写操作之间的互相干扰 ? 元