YD_T 4029-2022 计算存储分离架构的分布式存储技术要求.docx

ICS 33.040.40 CCS M32 中 华 人 民 共 和 国 通 信 行 业 标 准 YD/T 4029—2022 计算存储分离架构的分布式存储技术要求 Technical requirements for distributed storage of big data separation architecture 2022-04-08发布 2022-07-01 实施 中华人民共和国工业和信息化部 发布 I YD/T 4029—2022 目 次 前言 Ⅲ 1 范围 1 2 规范性引用文件 1 3 术语、定义和缩略语 1 3.1 术语和定义 1 3.2 缩略语 1 4 存算分离系统架构 2 5 功 能 2 5.1 数据访问接口要求 2 5.2 组件支持要求 3 5.3 负载均衡功能要求 3 5.4 分布式元数据管理功能要求 3 5.5 多协议互通功能要求 3 5.6 小文件聚合功能要求 4 5.7 配额功能要求 4 5.8 服务质量控制功能要求 4 5.9 HDFS纳管功能要求 4 5.10 分级存储功能要求 4 6 性 能 4 6.1 HDFS读写性能要求 4 6.2 HBase读写性能要求 4 6.3 MapReduce处理能力要求(hibench6.0业务模型) 5 6.4 Spark处理能力要求(hihench6.0业务模型) 5 6.5 Hive处理能力要求(TPC-DS业务模型) 5 6.6 海量文件读写性能要求 5 6.7 数据重构速度要求 5 7 兼容性 5 7.1 大数据平台兼容性要求 5 7.2 管理平台兼容性要求 5 8 扩 展 性 6 8.1 计算节点扩容要求 6 8.2 存储节点扩容要求 6 9 可 靠 性 6 9.1 数据冗余要求 6 Ⅱ YD/T 4029—2022 9.2 故障修复要求 6 9.3 硬盘误插拔修复要求 6 9.4 亚健康检测要求 6 10 安全 7 10.1 管理员安全要求 7 10.2 业务安全要求 7 10.3 数据加密 7 11 运维 7 11.1 配置管理要求 7 11.2 系统监控要求 7 11.3 在线升级要求 8 12 硬 件 8 12.1 处理器要求 8 12.2 内存要求 8 12.3 缓存要求 8 12.4 网卡要求 8 12.5 存储密度要求 8 13 网络 8 13.1 网络隔离要求 8 13.2 RoCE网络要求 8 Ⅲ YD/T 4029—2022 前 言 本文件按照GB/T1.1—2020 《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定 起草。 《计算存储分离架构技术要求》与《计算存储分离架构的分布式存储测试方法》共同构成计算存储 分离架标准体系。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本文件由中国通信标准化协会提出并归口。 本文件起草单位：中国电信集团有限公司、中国信息通信研究院、华为技术有限公司、阿里云计算 有限公司、中移动信息技术有限公司、中国电力科学研究院有限公司。 本文件主要起草人：李洁、王峰、高巍、刘星海、王娟、钱声攀、郭亮、王少鹏、谢丽娜、赵继壮、 赵丽丽、张李、张巧月、盛凯、芦帅、郑常奎。 YD/T 4029—2022 计算存储分离架构的分布式存储技术要求 1 范围 本文件规定了计算存储分离架构的分布式存储方案的功能、性能、兼容性、扩展性、可靠性、安全、 运维、硬件、网络等方面的技术要求。 本文件适用于计算存储分离架构的分布式存储方案设计和测试参考。 2 规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅所注日期的版本适用于本文 件。凡是不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。 本文件没有规范性引用文件。 3 术语、定义和缩略语 3.1 术语和定义 下列术语和定义适用于本文件。 3.1.1 存算分离 separation between storage and computation 计算和存储资源部署在两个不同的集群中，能够独立扩展。 3.1.2 分布式存储系统 distributed storage system 由多个相对独立的存储节点组成，节点之间通过网络连接