关于网格的数字化虚拟人海量数据管理技术研究.pdf

Master Degree Dissertation of Chongqing University Mass Data Management of Digitized Virtual Human Based on Grid Master Degree Candidate:Lin Quan Supervisor: Peng Chenglin Major: Biomedical Engineering College of Biology Engineering Chongqing University October 2007 摘 要 由于信息技术的飞速发展，数据爆炸已成为一个突出的问题，因而海量数据 管理技术成为人们关心的热点研究课题。本文以数字化虚拟人为背景，基于数据 网格技术，对海量数据管理技术做了一定程度的探索研究。 数据网格技术是网格的研究方向之一，侧重于数据的存储和管理。以现有的 分布式、并行式等数据管理技术为基础，数据网格致力于集成网络中的存储资源、 数据资源、计算资源等，建立分布海量数据的一体化数据访问、存储、传输、管 理与服务架构，为海量数据的管理提供了一种新的解决方案。 本文研究了基于数据网格的海量数据管理，以数字化虚拟人为背景，结合数 字人数据集的特点，对元数据管理、副本管理、高速数据传输、快速数据访问等 关键技术进行了探索，并在局域网内建立了一个基于数据网格的数字化虚拟人海 量数据管理原型系统。该系统将网络上分布异构的各种资源集成在一起，形成虚 拟的存储环境，为上层应用提供统一的访问接口，达到了数据的高度共享。 主要的工作和成果如下： ① 元数据管理策略研究 元数据是数据管理技术中一个重要的组成部分。目前大多数据网格元数据研 究只关注了文件系统中的数据，而对数据库系统中的数据却很少涉及。针对这一 现象，本文提出并建立了一个数据网格环境下的元数据管理策略。该策略采用了 语义相关层次模式，可以提高数据查询效率，并获得资源的负载均衡性。 ② 数据副本管理策略研究 为提高数据的可靠性和数据的访问效率，通常采取副本技术。本文主要针对 副本创建的时间和粒度进行了研究，提出基于排队系统的副本创建时间策略和基 于流行度的副本粒度选择策略，可以获得副本创建的良机，节约存储空间，提高 用户查询数据的命中率。 ③ 数字化虚拟人系统分析与设计 根据数字化虚拟人的应用需求，提出基于网格的数字化虚拟人的系统设计目 的和原则，分析系统功能和结构，指出关键技术，建立原型系统，并总结系统特 点，为最终建立数字化虚拟人系统提供强有力的支持。 论文末尾除对研究工作进行总结外，还对今后的研究方向进行了展望。 关键词：网格，数据网格，数字化虚拟人，元数据，副本 ABSTRACT With the quick development of the information technology, data explosion has become a challenging problem, which leads to that mass data management technology becomes a new focus and hotspot in the research area. With the Digitized Virtual Human as background, this thesis put emphasis on mass data management technologies. In this dissertation, the Data Grid idea was introduced into the Digitized Virtual Human res