杭州西湖区云计算数据中心项目设计方案.doc

杭州西湖区云计算数据中心项目 总论 概述 今年是十二五计划的第一年，在十二五期间我们预期杭州、浙江乃至其他周边区域进一步发展高新产业园、大力扶持高新企业，在这样的大背景下必将有很多政府、企业眼光转向云计算服务平台寻求从外部快速、低成本地获取IT资源和管理能力而不只是采用自己搭建IT平台这一缓慢的办法。 受政策和数据安全方面的约束，政府和企业不能或不会考虑国外的公有云平台和混合云平台。而目前在国内，进入云计算的企业由于其自身能力的限制大多仍然停留在云计算的底层设施（硬件、存储、网络）及其基本软件的层级，很少能够有能力建立自有知识产权的可以容易被用户使用的面向服务的云计算平台。 （2）存储管理的难度 对信息进行存储管理的前提是能够建立有效的数据定义，然后才能进行非结构化信息的组织存放。而前面已经提到了在非结构化信息的数据定义方面存在的难度，因此也就造成了在非结构化信息存储管理方面的困难。 当然，对非结构化信息最简单的存储方式是直接存放在文件系统中。这样做避免了依据主题等分类因素对非结构化信息进行管理的问题，但也是最最低效的一种存储管理方式。 在非结构化信息的存储管理中还涉及到一个问题，由于这些信息元（如果对非结构化信息进行一定的半结构化处理后）的数据可能来自关系型数据系统（比如Oracle）、对象数据系统（多媒体数据或空间数据）乃至文档数据系统（比如Notes），所以一个非结构化信息的存储管理系统将充当一个数据的汇整者，需要具备联合各个外部数据系统的功能。缺乏对非结构化信息的有效管理造成的直接结果就是无法对非结构化信息进行有效检索。 （3）信息检索的难度 由于不能像关系数据库那样建立起清晰定义的数据主题，非结构化信息的检索依照的只能是机械的全文内容检索。 这是对信息检索非常不利的一点。虽然对信息内容的全文检索可以做到资料检索的遍历，但其检索的效率和命中率是很低的。由于不象关系数据库那样有一种象SQL（结构化查询语言）那样强大的关联检索工具，并且在定义数据时也没有建立数据项之间的关联关系，要具有针对性地查询非结构化信息的内容，必须要依靠应用程序中设置对特定非结构化信息类型进行专门处理的功能内容，才可能提高信息检索的强度和效率。但另一方面讲，一种专用于理解特定非结构化信息类型的处理模块，无论在运行效率还是在可维护性上，都是非常不现实的。非结构化信息检索的另一个难度也是与数据元类型的多样性有关的。比如，不同的文档类型结构需要不同的全文索引工作模块。这也无形中加大了对非结构化信息进行检索的难度。 因此，数据中心的建设，还必须从技术体系上解决如何对非结构化信息进行有效定义、有效管理和有效利用的基本问题。 系统及应用需求分析 数据中心的主要业务包括： 从基层或业务部门采集数据，包括基础数据和部分共享业务数据，支持基础和共享数据的更新维护模式； 对采集到的数据进行校验和比对，发现冲突时按照共同制订的数据处理规范进行处理，保证数据的一致性和准确性； 受理业务部门或基层单位的基础数据使用申请； 将整理后的基础数据分发或按需提供给有关部门或单位使用； 以中介的方式处理共享业务数据使用申请，并进行备案； 对共享业务数据在征得业务部门同意的情况，通过数据中心进行存储转发； 将共享元数据的信息发布给各业务部门，提供浏览与订阅申请，方便其共享必要信息； 提供数据交换平台和接口系统，使数据中心与各部门的数据管理员可以对共享和交换过程进行管理； 通过数据交换平台存储和管理公共服务数据，并与外网同步，提供一站式服务； 存储和管理统计数据，根据决策支持的需要，整理相关数据，并提供统计分析功能，对数据进行统计和分析，方便领导及时掌握有关情况。 定期对业务数据库进行容灾备份； 与此相对应，业务部门与数据中心发生的相关业务包括： 提供数据或共享元数据给数据中心； 申请使用数据中心的基础数据，校准本单位的基础数据； 通过数据中心提供的共享元数据信息获取其他单位的数据； 审批其他单位的业务数据使用申请，并将数据提供出去； 与数据中心交换公共服务数据； 提供监督部门直接访问业务数据库的通道； 提供统计分析数据或原始个案给数据中心，方便主管领导查询； 定期将业务数据库备份到数据中心； 根据数据中心与各业务部门的主要业务，数据中心应提供如下功能： 节点管理 实现与数据中心相连的各个节点的信息管理、配置管理，包括业务部门、区县数据中心等。 主题管理 数据采集、数据发布、数据共享、数据交换、公共服务以及决策支持均以主题的方式进行，因此必须实现对主题的管理。主题是元数据的集合。 元数据管理 元数据是关于数据的数据。元数据描述了数据的结构和意义，同时也可以描述应用程序和流程的结构和意义。构造数据中心数据库的重要步骤之一，就是定义和创建元数据(Metadata)。元数据提供一