一种云环境下海量数据资源管理框架.pdf

(19)中华人民共和国国家知识产权局

(12)发明专利说明书

(10)申请公布号CN102222090A

(43)申请公布日2011.10.19

(21)申请号CN201110147807.4

(22)申请日2011.06.02

(71)申请人清华大学

地址100084北京市海淀区100084信箱82分箱清华大学专利办公室

(72)发明人张桂刚李超邢春晓张勇

(74)专利代理机构西安智大知识产权代理事务所

代理人贾玉健

(51)Int.CI

G06F17/30

H04L29/08

权利要求说明书说明书幅图

(54)发明名称

一种云环境下海量数据资源管理框

架

(57)摘要

本发明为一种云环境下海量数据资

源管理框架，包括物理存储层、海量存储

网、数据转换层、数据管理层、安全管理

层、资源组合层和应用层，其中涉及的述

云数据库支持从其他各种数据源转换过来

的数据并将其存储，例如，我国清华大学

开发的THCloudDB系统，本发明可以实现

对云环境下异构的海量资源的统一管理和

组织，为云环境下的海量、异构的数据组

织和管理提供了一套完整的解决方案。

法律状态

法律状态公告日法律状态信息法律状态

权利要求说明书

1.一种云环境下海量数据资源管理框架，其特征在于，包括：

物理存储层，包含存储域与分布式文件系统，用于存储互联网中的所有数据；

海量存储网，是指所有的物理节点都抽象与虚拟化成逻辑节点，组成的一个存储网

络，为后续的资源分配、调度、副本管理与调度提供基础；

数据转换层，将各种异构的结构化或者非结构化数据转换成为统一的云数据库系统

存储的数据；

数据管理层，管理所有存储在云数据库中的被转换后的数据；

安全管理层；

资源组合层，根据应用层对资源的需求，对下层的资源进行资源组合，提供满足应

用层需求的各种服务；

应用层，将用户的需求进行无损分解，形成云数据库能够提供的各种资源，然后通

过资源组合得到用户所需要的各种云服务。

2.根据权利要求1所述的云环境下海量数据资源管理框架，其特征在于，所述云数

据库支持从其他各种数据源转换过来的数据并将其存储。

3.根据权利要求2所述的云环境下海量数据资源管理框架，其特征在于，所述云数

据库为清华大学的TsingHuaCloudDataBase。

4.根据权利要求1所述的云环境下海量数据资源管理框架，其特征在于，所述存储

域由数据中心集群、各种企业集群和普通服务器组成；所述分布式文件系统能够让

PB级的数据量分布在各种节点上面。

5.根据权利要求1所述的云环境下海量数据资源管理框架，其特征在于，通过如下

方法实现海量存储网的生成与更新：

步骤1：扫描“心跳”XML文件，若无新节点增加，也无节点删除，维持原海量存

储图不变，若有新节点增加，则转到步骤2，若有节点删除则转到步骤3，其中“心

跳”XML文件是分布式文件系统元数据管理节点固有的一个XML文件；

步骤2：当有新的节点增加时，判断该新节点位置，并找到该节点物理连接的另外

一节点，在该新增节点与物理连接节点之间连接一条线，并转向步骤4；

步骤3：当有节点被删除时，判断该节点位置，并找到与该节点相连的所有其他物

理节点，将它们之间的所有连线均删除，并转向步骤5；

步骤4：计算该节点负载量，并将节点负载节点提交资源迁移算法，报告该节点的

实际负载情况，以供其参考；

步骤5：计算该删除节点的存储资源内容：包括资源名称和数量，并转向步骤6；

步骤6：根据步骤5的内容，计算需要复制的资源及其数量，并将结果提交给资源

迁移算法与副本管理与控制算法；

步骤7：循环进行节点增加或者删除判断；

步骤8：若无新节点增加，或者无节点被删除，则算法终止。

6.根据权利要求1所述的云环境下海量数据资源管理框架，其特征在于，通过如下

方法实现海量存储网的负载平