移动网管系统云存储解决的方案分析.docVIP

移动网管系统云存储解决的方案分析 　　【摘要】文章提出了应用云存储技术解决目前移动网管系统所存在问题的方案，包括云存储的分步式文件系统架构、对象存储系统设计原则；同时针对网络持续发展的问题，阐述了网络扩展方案的设计。 　　【关键词】云存储 网管 分步式 扩展 　　1 引言 　　云存储是在云计算（cloud computing）概念上延伸出来的一个新的概念。云存储与云计算类似，它是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的系统。 　　目前大多数移动网管系统所有的网管数据都存储在高性能磁盘阵列上，包括归档数据、统计数据、日志、过期话单等一些重要性不高的数据，这些数据按照规定，都需要保存一定时间，需要占用大量的存储空间。由于网管系统没有廉价的二级存储设备，数据不得不存储在高性能存储资源上，造成资源浪费的同时，也增加了存储资源的投资成本。相对传统的存储方式，云存储具有支持超大规模、性能高、虚拟化、通用性强、可扩展和价格低廉等优势，因此是网管系统的必然发展方向。 　　2 方案概述 　　针对移动网管中心数据存储的现状，可从提高存储设备资源利用率、降低存储整体投资成本的角度出发，借助先进的云存储技术，为移动网管系统搭建一套完整的云存储平台。整个平台在设计上需考虑以下几点： 　　（1）存储资源的统一管理、调度和维护 　　通过引入自动化管理等技术手段，实现对网管海量存储数据的集中统一管理、调度和维护，提升网管存储运营管理质量，缩短应用系统上线时间。 　　（2）提高存储资源利用率，降低能耗 　　通过引入虚拟化等技术手段，细化物理资源分配单元，提高系统分布密度，提高系统使用效率，降低对物理设备的需求，进一步降低IT设备投入，降低能耗。 　　（3）提高系统可靠性 　　在基础设施层面提高系统可靠性，为业务系统提供高可用、连续服务的基础设施平台。 　　3 系统架构设计 　　面向应用的云存储平台在设计上需考虑移动网管系统不同业务系统的数据存储需求，通过建设资源池的方式为多个业务系统提供包括分布式文件系统、分布式对象存储等多种存储系统，总体结构如图1所示。 　　整体设计架构需满足以下性能要求： 　　（1）分层化设计 　　整个系统分层设计，按照接口层、业务层、存储层三层架构分别完成相应功能，各层次间相对独立。各层次通过统一的系统监控进行管理，既保证系统整体性，又便于后期维护。系统各层间无单点失效或性能瓶颈节点。系统可以根据业务流量需求进行单独扩容。 　　（2）去中心化设计 　　存储层采用无中心节点设计，彻底防止单点失效与性能瓶颈。读写请求通过分布式哈希算法直接送达存储节点，无须中转。元数据与对象数据复合分布式存储，多备份保证高可靠。 　　（3）数据高可靠性 　　存储数据采用多备份切块存储，备份数量与切块规则可通过配置设定。系统可以自动补充备份故障节点的数据，同时系统内部实现数据的完整性校验机制。在节点扩容时，系统保有数据可自动迁移，保证各个节点空间的平均利用与负载均衡。 　　（4）访问高性能 　　所有数据采取分布式存储，并根据节点资源状态自动实现负载均衡，保证支持高并发的用户访问和高吞吐的数据流量。接口服务层也支持高并发的用户访问，通过调整接口服务层配置，可以方便地支持高吞吐的数据流并进行服务能力的扩展。 　　（5）动态线性扩容 　　支持PB级以上的海量存储，存储容量随节点规模平滑扩容。 　　3.1 分步式文件系统设计 　　分布式文件系统可由接口层、业务层、存储层以及系统管理共同组成。 　　（1）业务层 　　业务层用来实现文件、目录、用户权限相关的具体功能，具体包含文件访问、文件属性、目录访问、目录属性、ACL认证鉴权等业务模块。 　　（2）接口层 　　接口层为上层用户应用系统以及资源池管理平台提供基于NFS、CIFS等符合POSIX标准的文件系统接口；支持多租户管理及访问权限设置；为便于应用系统进行开发，为常用开发系统Java及C/C++开发平台提供API开发包，丰富业务系统开发工具，并实现动态负载均衡。 　　（3）存储层 　　存储层负责原始数据和元数据信息的混合存储，具体存储方式对外部应用透明。 　　分布式文件系统自带系统管理平台，负责对整个分布式文件系统提供自有的系统管理功能，以及安装配置等辅助工具；包含账号管理、节点管理、安装部署、运维监控、告警管理、日志管理和计量统计等功能模块；同时向资源池系统的统一管理平台提供运营管理接口。 　　分布式文件系统向客户提供文件系统形式的服务，客户应用可以挂载并使用文件系统。文件系统具有文件与目录操作、文件访问以及文件访问控制功能。 　　3.2 对象存储系统设计 　　基于对象的云存储系统可由接口层、服务层、存储