智慧教育-教育资源共享的云存储平台解决方案.pdf

智慧教育:教育资源共享的云存储平台解决方 案 一、系统需求分析（背景） 全区共有 100 所学校和教育机构，目前拟在区教育局建立一套统一的资源管理数据中心。 该中心将集中存储区教育局现有应用系统所涉及的数据库，包括区教育局门户网站、内置网 站集群管理功能以及区下属各校的网站数据库，同时也集中存储各校的资源库数据，主要包 括课件、题库、教案的文本数据。 目前各校的资源库所占据的数据量在 500GB~600GB，并且数据量是逐年递增。 容量需求 根据目前各学校等教育机构的数据存储和增长情况，估计总数据量在 60TB，考虑 3 年内数 据量的递增性，规划为 180TB，按照至少 1:1 备份，实际容量需求为 360TB，本次规划总 容量为 300TB。 吞吐率需求 按照项目网络规划，各学校连接到区教育局带宽为 10M~20M，区教育局的总出口带宽 300~400MB 以上，因此要求云存储系统的总吞吐率至少要保证 300M 的应用需求。 可靠性需求 在存储平台上除了存储各校的教学资源外，还部署有应用服务数据库，该数据库支撑各个学 校门户网站的建设，提供教研平台、VOD 点播、资源库以及数字图书馆等服务，因此在设 计上必须保证存储系统的安全可靠性，要保证系统 7×24 小时全天候的不间断运行，提供可 靠的服务。 扩展性需求 根据业务应用的发展，未来可能会面临扩展性的需求，这就要求系统的设计具有前瞻性，保 证所采用的架构是可扩展的，并且在系统规模扩展的过程中，系统对外服务不中断。 二、系统方案 总体设计思想 根据建设的需要，拟采用云存储平台对数据进行统一集中的管理，通过分布式云平台的高可 靠容错来对外提供稳定可靠的服务，同时依托分布式的云存储节点对外提供高速的存储访问 服务。并且，基于分布式架构的云存储平台，具有在线伸缩规模的能力，为系统的扩展提供 良好的支撑。 系统总体架构 图 1 cStor 云存储资源管理系统部署示意图 架构描述 采用 cStor 云存储系统构建本次云平台的基本数据存储平台，其具体描述如下： 基本存储采用 cStor 分布式云存储平台，该平台对上层应用服务器（包括文件服务器、网站 服务器、数据库服务器等）提供容量支撑，通过 cStor 客户端可以将存储容量映射成本地磁 盘（Windows 系统）或者挂载到本地目录（Linux/Unix 系统）； 用户通过文件服务器，如 FTP、NFS 等服务器访问 cStor 云存储，也可以通过 cStor 客户 端直接访问云存储系统（需要保证用户 PC 能够与 cStor 所有节点网络互通），cStor 系统 支持用户配额和权限控制； cStor 云存储系统主要用来存储课件、教学视频等海量的非结构化数据； 采用主备双机热备的容错方式搭建数据库服务器，数据库中所涉及到的非结构化数据，如图 片、视频、文档等，迁移至云存储系统中进行存储；数据迁移后，原有的系统，如网站服务 系统、视频点播服务系统等，对数据的访问方式不变。 系统优势和特点 cStor 云存储系统是一套软件与硬件相结合的系统，其中专有技术和软件是高附加值部分， 可以广泛应用于需要存储大量数据的应用场合（如安防、广电、电信、互联网、银行等领 域）。该系统相比传统存储系统有如下技术优势： 高度可靠 存储系统采用云架构，数据被分块存储在不同的存储节点上，数据采用先进的 1:1 容错机制 进行容错，可在任意损坏一个存储服务器节点的情况下实现数据完整可靠，系统对外存储访 问服务不间断。 云存储的管理节点采用了主备双机镜像热备的高可用机制，在主管理节点出现故障时，备管 理节点自动接替主管理节点的工作，成为新的主管理节点，待故障节点修复并重启服务后， 它则成为新的备管理节点，保障系统的 7×24 小时不间断服务。 优异性能 cStor 采用控制流与数据流分离的技术，数据的存储或读取实际上是与各个存储节点上并行 读写，这样随着存储节点数目的增多，整个系统的吞吐量和 IO 性能将呈线性增长。 同时，cStor 采用负载均衡技术，自动均衡各服务器负载，使得各存储节点的性能调节到最 高，实现资源优化配置。 无限容量 系统容量仅受限于卷管理服务器内存，可支撑的容量接近无限，经推算，理论容量为 1024×1024×1024 PB (1G 个 PB 容量)。 在线伸缩 cStor 云存储资源管理系统扩容非常方便，支持不停止服务的情况下，动态加入新的存储节 点，无需任何操作，即实现扩容；同时，无需人为干预，也可以摘下任意节点，系统自动缩 小规模而不丢失