基于云计算模式下数据中心管理监理工作探析.docVIP

基于云计算模式下数据中心管理监理工作探析 　　中图分类号：D922.33 文献标识码：A 文章编号： 一、前言 云计算属于新兴的共享基础架构的方法，将巨大的系统池连接在一起以提供各种信息服务，是分布式处理(Distributed Computing)、并行计算(Parallel Computing)和网格计算(Grid Computing)的融合和商业实现。其中分布式数据管理属于其中前沿的技术内容，为了应对这种新形势下信息系统监理工作，本文研究了云计算下分布式数据管理相关特性以及信息系统监理需要关注的重点工作，以飨读者。 二、背景 分布式数据管理关键支撑包括：分布式文件系统、列存储数据库和键值数据库等数据管理内容，分别用于数据处理的不同环节。 其中，分布式文件系统基于Hadoop的HDFS构建，HDFS由名字节点（name node）和数据节点（data node）两类节点构成，名字节点负责文件目录结构、文件数据块分布等元数据管理，数据节点负责实际业务数据存储。在系统运行过程中，客户端需要频繁访问名字节点以获取数据存储信息，名字节点是系统核心。HDFS虽然通过数据块的冗余存取来实现数据存储的高可靠性，但只支持单一名字节点，名字节点一旦崩溃，系统将无法正常运行。为了提高系统可用性，需要研发高可用元数据管理技术，使得HDFS具备主备两套名字节点，主备节点之间进行实时数据同步，并同时提供数据读取服务。 多维查询是数据处理的一个常用需求，在数据处理过程中常常会出现对于主键和多个其他索引列进行点查询和区间查询的要求。目前很多信息系统采用的列存储数据库hbase的数据组织模型本质上是一个稀疏的多维度排序映射表，这张表的索引是行关键字，列关键字和时间戳。用户在表格中存储数据，每一行都有一个可排序的主键和任意多的列。当针对主键以外其他列数据进行条件查询时，需要扫描整个数据表内容，处理效率将变得非常低下。为了同时满足高性能、低存储开销和高可靠性的要求，需要使用高效的索引技术。 互补聚簇索引（CCIndex）是一种适用于列存储数据库的分布式索引技术，CCIndex为每个查询列创建一张以查询列值拼接原来rowkey为主键的顺序表，称为互补聚簇索引表（Complemental Clustering Index Table，CCIT），使得单个列的区间查询就是对应CCIT表的连续扫描。多维区间查询时，CCIndex估算各个子查询结果集大小，挑选最优查询计划。CCIndex禁用底层文件系统的副本机制，避免存储开销成倍增长。CCIndex为每个查询列建立多副本的可靠的互补校验表（Complemental Check Table，CCT），以保证单个查询列的数据出错时，可以增量式的快速恢复数据。CCIndex内的多张聚簇的表相互分担不同列的查询，并互为校验以提高可靠性，因此叫做互补聚簇索引表。 因此，分布式数据管理重点关注实时数据同步、数据读取负载均衡、故障切换、故障恢复、异常情况处理等功能。 三、分析 经过上述情况的介绍，我们可以看出，分布式数据管理相关重点工作在实时数据多节点处理、数据备份恢复、应急处理等方面，而作为信息系统监理人员，必然要重点开展相应的监理工作。 四、解决方案 从多节点数据处理实施的要求来看，这类工作必然涉及到大批量设备的选型、到货验收、安装调试、系统联调等工作，而数据备份恢复、应急处理等方面必然涉及到存储、风险、安全管理等方面内容。 （一）多节点数据处理策略 多节点必然意味着多标准格式，多业务流程等方面，为了合理布局，节约实施成本，监理可采取的策略有： （1）、以点带面，全面开花 考虑各节点实施的情况不一样，地区发展不同，信息化水平也不同，可先期在部分节点进行试点调研与试点部署，总结相应的经验与教训，形成规范的总结报告，提炼出可行的方法与措施，然后全面开花，针对所有的节点进行宣贯。 （2）、实施未动，标准先行 在项目开展之初，考虑到需要覆盖到所有节点，则必须统一思想，以前期部分试点节点取得的经验，统一提炼制定成标准，然后在建设范围内进行部署实施。 （3）、区域划分，合理分组 在实施验收的过程中，依照就近划分的原则，指定相应的小组负责人，可以保证责任的落实，确保工程项目的顺利实施。 （二）多节点数据处理工作方法 数据处理涉及到的设备选型、到货验收、调试、集成联调的工作方法总结如下： （1）审核关键设备、系统软件选型方案 设备和系统软件产品选型的前提是，必须具有明确的需求分析和完整的系统规划，也只有在此基础上，选型才能做到有的放矢、具有针对性；系统选型需要考虑信息化预算，不同的预算等