基于网格技术数字图书馆互操作技术研究.docVIP

基于网格技术数字图书馆互操作技术研究 　　数字图书馆（DL）是将多种媒体形态的大量文献信息以规范的数字方式存储在计算机中，并将信息的存储、管理、检索、发布和产权保护等综合技术集成在一起，利用现代网络技术，实现跨地区、跨国家的多个DL的连接，使读者能通过统一的界面，在任何地点、任何时间实现自己的信息需求。DL是一个没有时间、地点限制的方便大规模的知识库，它追求的最终目标是实现“联邦检索”，即把全球的数字化资源连为一体，实现数字资源和信息的共享，为用户提供统一、高效的检索服务。 　　目前，国内外有为数众多的DL还没有实现连接，形成“联邦服务”的机制。因为它们是属于不同的机构、为了不同的目的而建造的，所以它们使用的都是不同的、不可互操作的技术，这也构成了形成联邦数字图书馆的最大障碍。为了克服这一困难，出现了各种实现DL之间互操作的方案。其中基于元数据收集（metadata harvesting）的OAI-PMH方案由于实现的简单性和易用性而得到了广泛的应用。 　　然而假设随着采用OAI－PMH技术的DL的增多，怎样才能连接不同的DL，建立一个高效的联邦数字图书馆，使它能够通过统一的接口收集异构的、急速增长的OAI-PMH数据呢？网格技术的出现为我们指明了方向。本文在OAI-PMH框架的基础上，结合网格技术，提出一个全新的DL互操作框架――数字图书馆网格（DL Grid）。 　　 　　一、OAI-PMH技术 　　 　　目前国内外存在的大量的DL还没有形成统一的联邦式的服务，用户可能要访问多个DL才能得到自己需要的资料。形成联邦式数字图书馆的最大障碍是不同DL间的互操作问题，OAI-PMH通过元数据收割来解决DL之间的互操作问题。许多以前的DL采用“分布式检索”来实现DL之间的互操作。这种方法只适用于节点较少时（如小于20个）的情况，对于互联网上大规模的节点之间（如大于100）却显得效率低下。OAI-PMH的最新版本2.0定义了元数据交互时通用的格式，这种交互是独立于底层数据库的。 　　OAI-PMH是一个比其他互操作技术更简单的批量元数据传输协议，其他更具体的功能则要借助其他技术。理解OAI-PMH的关键是理解OAI－PMH中DP（Data Provider，数据提供者）和SP（Service Provider，服务提供者）的区别。DP是一个数据仓储，向SP提供元数据。SP利用DP提供的元数据提供增值服务，SP向用户提供服务，DP向SP提供元数据，一个SP可以从多个DP收割元数据，而实际上，一个DL既可以是DP也可以是SP。OAI-PMH对用户是完全透明的，它定义了SP和DP之间的交互作用。 　　 　　二、DL Grid体系结构 　　 　　OA I-PMH是利用Harvesting概念建立的典型元数据采集框架，它为DL的互操作提出了一种简单、可行的解决方案，解决了分布式搜索无法解决的一个规模问题。而网格技术关注大规模的资源共享，革新的应用，以及在某些事例上高性能的需求，它强调多机构之间大规模的资源共享和合作使用，提供了资源共享的基本方法。 　　通过研究网格和OAI-PMH的架构，本文提出一个基于网格的三层DL互操作框架。过去OAI-PMH只是将DP和SP直接相连，简单地在http上实现元数据的采集，而本文提出的框架中，采集（harvester）节点通过网格收集DP的元数据。为增强收集和索引的动态性能，加快元数据的更新速度，在DL Grid体系结构中引入三类网格服务节点：采集调度服务节点、元数据采集节点和元数据收集/传送节点。本文提出的三层DL Grid从下到上依次分为资源层、网格服务层和服务层。 　　 　　1.资源层 　　资源层由异构的DL构成，是整个DL Grid系统的信息提供者，也就是OAI-PMH中的DP。它将DL的相关信息提供给采集调度服务，并且向元数据采集节点提供符合OAI-PMH标准的Dublin Core标准元数据，或者其他任何可以编码成XML文档格式的元数据。 　　 　　2.网格服务层 　　网格服务层是DL Grid的核心，它利用网格技术实现资源层中元数据发现、采集、组织、存储等功能，并向服务层提供透明、统一的接口。 　　（1）采集调度服务节点。该服务的主要功能是：存储一个配置文件，其中存储所有被收集的DP的列表；检查元数据收集节点上的软件版本是否一致、可用，如果某个元数据收集节点的软件不可用，则通过采集调度服务节点向其传送可用的软件压缩包；将收集元数据的任务分配给元数据收集节点并配置参数，再根据参数对收集工作进行跟踪。 　　（2）元数据收集节点。这类节点从采集调度服务节点处接受任务，获得DP的地址，从DP处采集元数据。采集完成后，通知采集调度服务，领取新任务，并接受采集调度