数字档案馆基于.NET Framework与XML异构数据整合研究.doc

数字档案馆基于.NET Framework与XML异构数据整合研究异构档案数据的整合，以及检索是数字档案馆建设必须解决的关键问题。现有的数据整合系统在解决数据异构性问题时，大多是从其数据库系统异构性出发，并没有考虑到平台异构性和语义异构性，而现实情况中，很多档案馆的数据库服务器可能并非都基于Windows平台，而且在数据库结构方面，由于档案管理缺乏标准化的协议，各办公自动化系统的数据源和数据结构都和归档系统不一致。这样在进行异构数据整合的时候，我们就必须重点考虑其平台的异构性和语义的异构性。 平台异构性及其解决方案 1、数字档案馆平台异构性的现状 平台异构性是指各个数据库系统的基础操作系统不同，可以是UNIX、Windows NT、Linux等；同时，它也指DBMS(数据库管理系统)本身的异构，可以是同为关系型数据库系统的Oracle、SQL Server等，也可以是不同数据模型的数据库，如关系、模式、层次、网络、面向对象，函数型数据库共同组成一个异构数据库系统 在项目调研过程中我们发现，大多数档案馆采用的数据源都是基于Windows操作系统的，后台数据库主要采用Microsoft SQL Server系列产品。基于此，我们提出了一个基于Microsoft.NET平台，以XML为数据交换格式的适合于数字档案馆的异构数据整合架构；并对实现数据整合时的一些问题，例如适配器设计、字段映射、数据去重等问题进行了深入研究，提出了自己的解决方案；同时，还对数据整合后的应用问题进行了研究，设计了一个基于B/S结构的档案概念检索平台，对应用接口进行统一定义，为今后的扩展留下了余地 2、数据转换模块设计 由于在构建数字档案馆时会涉及一些操作系统的变更，以及数据库管理系统的升级换代等，异构数据整合平台会因为成员数据源或者全局应用需求的变化而处于不断进化之中。因此，客观上要求目标系统的应用层能够在技术上满足一种数据源的伸缩性要求。为了满足这样一种要求，我们设计了一个数据转换模块，功能是将每个数据源各自的数据接口转换到统一的接口，并协调数据整合的过程，来满足系统应用的跨平台性和可扩展性 图1即是我们利用.NET Framework平台实现的异构数据库转换模型。该模型的中间层(逻辑层)的具体实现依赖于若干.NET Framework提供的相对独立的类，这些类并不依赖于所在的操作系统，它们在应用逻辑和功能上通过相互的协作来实现更为复杂的应用逻辑和功能，直至实现整个应用系统 3、数据转换模块的特征及效用 数据转换模块是基于.NET Framework和XML的，所以在性能上，尤其是系统的健壮性和扩展性方面比基于操作系统API和传统数据库的应用系统更有优势，对于不断变化的应用需求具有更好适应能力 首先，实现了数据源的可扩展性，由于所有的数据源都封装在我们自行编写的数据库操作类(适配器)当中，所以当需要增加新的数据源时，只需要在数据库操作类中加入该数据源所提供的数据驱动语句接口 其次，实现了系统的跨平台性，.NET Framework是一种跨平台的框架，其提供的类库理论上不论基于任何操作平台，只需要在该操作平台上安装相应版本的.NET Framework，即可支持基于.NET Framework所开发的应用系统。另外，适配器可以检测到用户所使用的操作系统而应用该系统下相应的数据库接口 第三，系统使用XML作为转换中介，并且可以直接输出XML文件作为转换结果保存。由于XML是纯文本，可以保存相当长的时间而不会因为软件的发展影响数据读取。同时采用XML文件存储可解决档案数据复杂而庞大，很多字段在一些记录中很长。一些记录中很短，数据库等长字段类型，浪费存储空间的问题。因此。XML不但有利于归档工作中异构数据的交互，而且对档案的保存也有意义 语义异构性及其解决方案 1、语义异构性的定义及其在档案数据中的特征表现 异构档案数据库语义的异构性在档案数据中主要表现为命名冲突、格式冲突和结构冲突 (1)命名冲突。即源模型中的标识符可能是目的模型中的保留字，这时就需要重新命名。这是规范数据格式的一个重要方面，只有在统一的数据格式下，才能够最大化的利用资源，为用户提供统一的检索界面 (2)格式冲突。同一种数据类型可能有不同的表示方法和语义差异，这时需要定义两种模型之间的变换函数，需要我们定义相关的转换规则来进行数据的转换 (3)结构冲突。如果两种数据库系统之间的数据定义模型不同，如分别为关系模型和层次模型，那么需要重新定义实体属性和联系，以防止属性或联系信息的丢失，事实上这也是平台异构性的一个问题 2、数据转换预处理模块设计 针对上节提到的语义异构性，我们在数据转换过程中加