基于网格异构数据源访问体系研究.docVIP

基于网格异构数据源访问体系研究 　　摘要:基于网格的异构数据源访问体系定义了一套通用的数据访问接口,包括结构化查询操作和非结构化查询操作#65377;该体系采用基于网格基础构件的多层结构设计,包括附加在各个数据源之上的访问代理层和用于负责维护模板库和逻辑映射表的仲裁机构,通过在访问代理层实现与实际数据源相关的转换操作来提供对通用数据访问接口的支持#65377;该体系实现了真正意义上的语句透明,并在最大限度上提供了数据的自动集成#65377;?? 　　关键词: 　　异构数据源;仲裁机构;访问代理?? 　　中图分类号:TP393文献标志码:A 　　文章编号:1001-3695(2007)10-0065-03 　　 　　0引言?? 　　 　　数据网格的发展促进了许多应用的蓬勃发展,尤其是面向海量信息处理的大型应用,如生命科学以及地球科学等#65377;这些应用往往需要访问各种大型且复杂的数据集合#65377;这些数据集合来自不同组织甚至不同国家,它们之间的联系是松散而且不稳定的#65377;与此同时,数据的组织方式也是多种多样的,既有结构化的信息资源,如符合关系模型的关系数据库#65380;符合面向对象模型的对象数据库和符合概念模型的数据仓库;也有半结构化或非结构化的信息资源,如各种格式的数据文档(word#65380;PPT#65380;HTML和XML等)以及采用文件方式存储的文本信息或二进制数据信息#65377;而上层应用系统关心的是如何集成这些信息资源,使之能够通过类似的访问手段来对不同的信息资源进行访问#65377;?? 　　本文提出的异构数据源访问体系试图为解决以上问题提供一种方案#65377;该体系定义了一套基于代理访问中间件的网格服务向上层应用提供数据访问的手段#65377;其核心思想就是设计一个仲裁机构来处理上层应用的数据访问请求,之后该机构负责将这些访问请求转换为标准化的中间查询语句发送到底层的数据源,而在各个数据源之上覆盖了一层访问代理中间件负责解析这些中间查询语句,并按照特定数据源的访问方式重构为专门的查询语句#65377;访问代理中间件还负责将查询结果封装为XML文档发送到仲裁机构;而仲裁机构则负责合并结果,并将结果转换为合适的格式返回给上层应用#65377;?? 　　 　　1异构数据访问体系结构?? 　　 　　为了实现异构数据源的统一访问,首先需要解决的问题是如何将用户的访问请求转换为体系内部的标准化查询命令,在此是通过提供一个应用相关的模板库来实现用户请求的标准化处理的;其次需要确定各个数据源是否包含所需要的信息,这可通过查询逻辑映射表来实现;最后需要将通用的查询语法表示转换为各个数据源所能够识别的查询命令,并将从各个数据源返回的数据按照指定的数据格式进行归并后返回给上层应用#65377;整个过程如图1所示#65377;?? 　　在体系架构的设计上,采用了中心+分层结构#65377;中心是指仲裁机构,该机构负责维护模板库和逻辑映射表;分层是指将实际的数据访问工作分解到不同的位置实现以提高系统的可重用性以及可扩展性#65377;整个体系结构可分为以下层次:?? 　　a)语句解析层#65377;该层位于仲裁机构,分析接收到的查询请求,根据模板库中的定义将其转换为体系定义的标准化数据访问命令形式#65377;?? 　　b)数据集成层#65377;该层位于仲裁机构,负责接收来自各个数据访问代理的结果信息,并按照预先指定的数据组织方式进行数据合并#65377;?? 　　c)语句重构层#65377;该层位于访问代理,负责接收由仲裁机构发送过来的标准化数据访问命令,并根据其代理的数据源类型将其重构为数据源可识别的数据访问命令#65377;?? 　　d)数据查询层#65377;该层位于访问代理,负责执行由语句重构层所生成的特定数据访问命令,并将结果返回到仲裁机构#65377;异构数据访问体系的结构图如图2所示#65377;?? 　　上层应用与仲裁机构之间的通信采用标准的HTTP(s)进行#65377;仲裁机构与访问代理中间件之间的通信则采用基于HTTP(S)的XML数据交换格式#65377;访问代理中间件与底层数据源的通信则根据需求可以分别采用不同的专门协议进行,如JDBC#65380;OCI或私有协议等#65377;?? 　　仲裁机构采用Servlet+传统Java类的方式实现,它可以被命令行工具#65380;Web浏览器或编程API接口所调用#65377;上层应用的编写者不需要具备任何关于底层数据源方面的知识,他仅仅需要通过标准的HTTP get方法和post方法就可以访问到任何种类的数据源#65377;访问代理中间件提供符合网格服务规范的服务,接收XML格式的命令请求,