智慧广电-云存储平台解决方案.pdf

智慧广电:云存储平台解决方案 1 概述 1.1 建设背景 云存储平台为本次云媒资系统总体解决方案的一部分。主要针对海量的办公文件、关键数 据、知识库文件、音视频文件、共享资料及其它各类数据的集中存储与共享，建立一套具有 高可靠、可在线弹性伸缩，满足高吞吐量并发访问需求的云存储平台。为云媒资系统数据存 储提供便捷、统一管理和高效应用的基础平台支撑。 1.2 设计范围 本技术解决方案针对海量数据集中存储与共享，提供从系统软硬件技术架构、原理、硬件选 型、网络接入以及软件与应用之间的接口等方面的全面设计阐述。 1.3 总体设计原则 针对本次工程的实际情况,充分考虑云媒资系统建设的建设发展需求，以实现系统统一管 理、高效应用、平滑扩展为目标，以 “先进、安全、成熟、开放、经济”为总体设计原则。 2 云存储系统平台设计 2.1 项目需求 2.1.1 容量需求 针对本次建设实际数据容量，一期拟建设 48TB 裸容量数据存储平台，主要存储办公文档、 音视频文件、共享资料及其它各种文件类型数据。 2.1.2 吞吐量需求 为满足多用户或应用整体吞吐带宽需要，确保数据访问流畅，系统需提供多用户或应用并发 访问高吞吐带宽设计，系统能够有效利用网络带宽，性能可通过规模增加实现平滑增长。 2.1.3 扩展性需求 未来根据业务应用的变化和发展，需要快速实施系统资源的升级，可以在业务服务不间断的 状态下平滑扩展，不会导致架构发生根本性变化，为不断产生和变化的业务需求提供持续的 支持，支持业务系统的快速整合和部署对核心系统基础架构的特别要求。 2.1.4 低成本需求 要求系统能够以低硬件成本、低维护成本实现高可靠高性能应用要求，充分提高资源利用 率，简化管理，并能灵活、可持续扩展。 2.1.5 可维护性需求 要求系统具有自适应管理能力，安装、维护、升级简易方便，提供统一易用的 WEB 配置管 理监控平台，实现智能化管理。 2.1.6 接口需求 要求能够提供通用的文件系统接口，方便用户及应用系统访问，减少与应用集成或开发工作 量，实现系统快速部署与集成。 2.2 设计思想 采用业界成熟先进的云平台架构思想，采用软件实现对大量普通商用服务器存储空间资源进 行虚拟化整合，实现软硬件故障高度容错，将系统控制流与数据流分离，同时使得数据在逻 辑上集中、物理上分散，每台服务器同时对外提供服务，以达到多并发高吞吐量的性能要 求，采用自注册机制、故障自动屏蔽、自动冗余重建技术实现系统自我维护和平滑扩展，系 统服务 7×24 小时不间断。系统采用先进的编解码容错技术，可根据数据可靠性要求设置适 当的冗余编解码策略进行系统部署，可以以极小的磁盘和硬件冗余度，实现高度的可靠性数 据容错。 2.3 云存储系统方案 采用业界已经成熟的云存储资源管理系统，在多台普通商用服务器上构建高性能高可靠云存 储系统，作为本次云媒资系统云数据中心存储平台，其应用部署示意图如下图所示。 云存储资源管理系统部署示意图 2.4 系统优势和特点 云存储系统是一套软件与硬件相结合的系统，其中专有技术和软件是高附加值部分，可以广 泛应用于需要存储大量数据的应用场合（如安防、广电、电信、互联网、银行等领域）。该 系统相比传统存储系统有如下技术优势： 2.4.1 高度可靠 存储系统采用云架构，数据被分块存储在不同的存储节点上，数据采用先进的 1:1 容错机制 进行容错，可在任意损坏一个存储服务器节点的情况下实现数据完整可靠，系统对外存储访 问服务不间断。 云存储的管理节点采用了主备双机镜像热备的高可用机制 ，在主管理节点出现故障时，备管 理节点自动接替主管理节点的工作，成为新的主管理节点，待故障节点修复并重启服务后， 它则成为新的备管理节点，保障系统的 7×24 小时不间断服务。 2.4.2 优异性能 采用控制流与数据流分离的技术，数据的存储或读取实际上是与各个存储节点上并行读写， 这样随着存储节点数目的增多，整个系统的吞吐量和 IO 性能将呈线性增长。 同时，采用负载均衡技术，自动均衡各服务器负载，使得各存储节点的性能调节到最高，实 现资源优化配置。 2.4.3 无限容量 系统容量仅受限于卷管理服务器内存，可支撑的容量接近无限，经推算，理论容量为 1024×1024×1024 PB (1G 个 PB 容量)。 2.4.4 在线伸缩 云存储资源管理系统扩容非常方便，支持不停止服务的情况下，动态加入新的存储节点，无 需任何操作，即实现扩容；同时，无需人为干预，也可以摘下任意节点，系统自动缩小规模 而不丢失数据，存储在此节点上