如何设计企业云存储架构.docxVIP

PAGE 1 PAGE 1 如何设计企业云存储架构  在企业内部服务平台中，首先需要实现云存储功能，以供应各部门用户数据的存储功能，便利用户获取各自需要的数据，包括GPS、视频、语音等模拟和数字信息等数据。  在企业内部服务平台中，首先需要实现云存储功能，以供应各部门用户数据的存储功能，便利用户获取各自需要的数据，包括GPS、视频、语音等模拟和数字信息等数据。其次需要接入消息与通讯系统，如350兆集群呼叫，手机、移动终端、固话，及Mail，MSN、QQ、微信等即时通讯(IMInstantMessenger)，以实现动态消息推送和位置服务。第三是实现业务功能开发与运行，如在线播放云存储中的视频监控图像、照片及相关资料，以及各业务子系统的运行，为一线用户和领导供应分析和指挥决策依据。为此需要相应的基础软硬件资源，如服务器、存储和网络设备、操作系统和数据库等商用软件。企业云架构示意见图1。云存储、通讯及消息、业务运行系统和软硬件基础资源这四个基本要素构成了一个面向终端用户的操作系统平台，或称为企业云，其能够通过各种浏览器或手机App及PC机随时访问，满意用户在任意时刻、任意地点查看信息的需求。  作为企业云的核心是存储和计算，其它都构建在存储和计算之上的基础服务和用户运用。企业云主要涉及数据存储架构和用户访问优化等两方面的技术，下面分别予以简述。  云存储架构设计  云存储主要是为了存储数据，便利用户访问，同时也是为了解决信息共享问题。在云存储建立之前，各业务部门均是自建专用系统，网络虽然相通，但由于数据分散存储在各自系统中，导致信息在业务协同时关联、互查和引用不流畅。以前各系统间的数据整合和共享主要靠交换接口标准化等SOA方式来实现，对于非结构化数据几乎无法实现，且改造各子系统的工作量巨大和繁琐。  采用云存储技术就可以克服上述问题，本文采用HDFS(HadoopDistributedFileSystem)分布式文件系统的存储方式，原各业务信息管理系统的数据通过Sqoop工具导入，HDFS实现数据层面的共享。HDFS包括主控服务器(同时配置备用主控服务器以便在故障时接管服务)，多个数据服务器(存储节点)，前端接入终端服务消息平台及各业务子系统数据库服务器。  　　图2分布式文件系统示意图  主控服务器Master负责维护整个文件系统的命名空间与路由，以供应用户使用。该分布式系统架构最大的缺点是主控服务器为单点结构，一旦出现故障将造成全系统瘫痪，故在实际应用中采用HA、UCARP等容灾备份，以便在故障时接管服务。主控服务器的命名空间结构采用目录树结构，建立元数据到数据服务器的映射关系，文件之间的关系等。为了提高检索效率，可以采取元数据内存化管理方式。主控服务器通过心跳线方式轮询数据服务器(DS)，当发觉有DS宕机时，对一些副本数不足的文件(块)执行复制计划，也可依据DS数量增减需要执行副本迁移任务。  数据服务器主要解决海量数据的低成本存储和快速检索，提高数据存储的安全性问题。其解决方案是将大块数据划分为小数据块，然后匀称分布到多台数据服务器上，每个数据服务器存储的文件数量就少了，对于大文件数据的处理方法是将大文件划分成多个相对较小的片段存储在多个数据服务器上，把单个数据服务器上存储的文件数降到单机能解决的规模，以此降低存储设备成本和提高效率，并通过多副本复制来提高数据安全性。  终端服务平台  企业协同作业的终端服务平台又称为“永久在线推送平台”(AOIAlwaysOnlineInfrastructure)，该平台是以协同作业应用为导向，以指挥中心的“推送”技术为基础，为一线人员供应统一的消息推送服务，实现了将消息和内容实时推送到终端的全新体验。  永久在线推送平台(AOI)包括终端中间件和在线服务器，终端中间件供应各类移动和固定终端的接入以及各终端间的通信路由功能；在线服务器供应统一的永久在线连接安全认证、消息缓存服务、在线业务处理子系统。终端服务消息平台示意图如下：  其中，SIP(SessionInitiationProtocol)网主要实现会话功能，这些会话可以是Internet多媒体会议、IP电话或多媒体分发，会话的参与者可以通过组播(multicast)、网状单播(unicast)或两者的混合体进行通信。  XMPP(TheExtensibleMessagingandPresenceProtocol)网主要用于服务类实时通讯，即时消息(IM)及在线现场探测。XMPP的核心是XML流传输协议，借助于XML易于解析和阅读的特性，使得XMPP的协议能够允许网络用户简便和流