网格数据库缓存技术分析与实现-analysis and implementation of grid database caching technology.docxVIP

承诺书 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容 外，本学位论文的研究成果不包含任何他人享有著作权的内容。对本 论文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明 确方式标明。 本人授权南京航空航天大学可以有权保留送交论文的复印件，允 许论文被查阅和借阅，可以将学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或其他复制手段保存论文。 (保密的学位论文在解密后适用本承诺书) 作者签名： 日 期： 第一章 绪论目前，随着信息技术的不断发展，各行各业的信息都呈现出爆炸式地增长，数据的 TB（1012Byte）级数量级已经是常见的数量级。并且，在天文、生物、地理以及高能物理等研 究领域已经出现大小 P B（1015Byte）数量级的文件。这些应用对数据的存储、管理、查询 处理等提出了更高的要求。数据，作为各种研究和应用的基础的、必需的工具。尤其在一些大型科学研究、信息 服务以及数字多媒体技术等应用研究领域，数据集容量已经非常庞大并且在持续增长。因 此，如何对这些海量数据进行有效地存储、管理、定位以及查询处理是一个很具有挑战性 的问题。随着网络技术特别是网格技术的不断发展，海量数据的有效组织管理问题已经得 到了较好地解决。在网格领域中了，将现有的数据库资源如何有效地并入现有的网格中， 同时满足更加广泛的网格应用的数据管理需求，已经成为一项亟待解决的新课题。鉴于网 格环境的动态性、分布性、异构性等特点，网格环境下的数据库查询处理技术、缓存技术 等相关技术也因此面临了巨大的挑战。本章主要介绍论文的研究背景和意义，以及论文的主要工作和组织结构。1.1 研究背景网格（Grid）[1][2][3]概念来自电力网格（Power Grid），是为了满足现实应用对计算机处 理能力越来越高要求而提出的一种并行处理技术，网格概念是在继互联网、Web 之后的第 三次技术跨越。因此，网格也被也被称作第三代互联网应用。网格技术自从被提出以后得 到迅速的发展。网格技术实现信息资源、计算资源、存储资源、数据资源等的共享。网格是国家级高性能计算和信息服务的战略性基础设施，它的核心任务是管理分布在 Internet 广域环境中的各种类型的软硬件资源，为基于 Internet 的分布式应用提供一个统一 的、虚拟的、共享资源的计算平台。网格的最重要的特点就是资源共享并利用这些共享资 源有效地解决问题。网格最早被称为计算网格，它是从大规模并行计算发展过来的。计算 网格在科学工程计算及应用方面发挥了巨大的作用。这样大规模的数据是无法存放在一个 单独的计算节点上，而且对数据的访问、传送、分析处理，传统的数据管理系统也是根本 无法满足的。针对这些需求，一种针对大规模科学数据集的分布式管理与分析体系——数 据网格就应运而生了。数据网格的最终目标是在异构分布的环境下建立一个解决海量数据 一体化存储、管理、访问、传输与服务的架构和环境。当然，网格的根本特征是资源共享而不是它的规模，也可以构造地区性的网格。相关 研究的目的是要达到在虚拟的网络环境下资源的高效共享和协同工作。网格技术的发展为 收集和管理大规模数据对象提供了新的方法。存放在网格上的海量数据必须使用数据库来进行管理。在现实应用中，许多数据都是结构化数据，这就要将数据库技术应用到网格系 统中。数据网格是以数据管理为中心，将底层分布异构的存储资源有机组织起来，为网格上 层的各种应用提供可靠的服务。但是，目前数据网格的研究对象主要集中在基于文件的信 息资源，而越来越多的科学和商业领域的网格应用迫切需要使用结构化的数据，例如生命 科学研究和地理科学研究。此外，网格本身也需要用结构化的数据来实现其运行和管理。 因此，如何将数据库资源并入现有的网格架构，是网格发展的新需求。网格数据库[4]就是为 了解决广域、异构多数据库集成与共享而提出的又一个专门针对数据库应用的网格概念， 其目的是把分布异构的数据库有效地集成到网格环境中，是数据库技术和网格技术相结合 而形成的一个新的研究内容。在网格数据库[4]应用中，查询操作建立在动态组成的虚拟数据库之上，在查询具体执行 过程中，必定存在数据的大量传输以及某些数据查询处理操作只能在特定网格节点上执行 的问题，此外还有网格环境本身固有的高度动态性和异构性（节点计算能力不同、网格节 点之间的网络带宽不同且在不断变化、网格节点上的数据库很可能没有一个统一的逻辑视 图等），这些都给网格环境下的分布式查询处理带来了新的困难。另外，在网格数据库应用 中，一个比较常见的场景是用户提交一个涉及到大量数据访问的连接查询命令，而且这些 大量的数据被分别存储在多个网格节点上，这时系统则需要对查询命令进