异构数据集成方案优化设计与实现.docVIP

异构数据集成方案优化设计与实现 　　摘 要：针对现有数据集成方案在处理特定问题时系统查询性能不理想的情况，以Mediator/Wrapper集成模式为基础，结合数据仓库思想，提出1种异构数据集成的优化方案.该方案基于XML和元数据设计查询构造、解析搜索及缓存等模块，优化系统的查询性能.将该方案应用于石油储层评价系统的数据集成中能明显缩短查询的平均耗用时间，提高查询效率. 　　关键词：XML；元数据；异构数据集成；优化 　　中图分类号：TP311.13 文献标志码：A 　　 　　Optimized design and implementation of heterogeneous data integrating solution 　　ZHANG Jie a，b，LU Detang a，b 　　(a. Institute of Eng. Sci. Software；b. Key Lab of Computation Communication Software of Anhui， 　　Univ. of Sci. Tech. of China，Hefei 230026，China) 　　Abstract：To solve the problem that the current scheme of heterogeneous data integration can not query efficiently in the specific cases，combined with the Mediator/Wrapper architecture and the warehousing method，an optimized solution on heterogeneous data integration is proposed. Based on XML and metadata，several modules such as query construction，parsing and search，and caching are designed to optimize query performance. The solution is introduced into an evaluation system of petroleum reservoir to implement data integration of neural network system of reservoir identification，which can distinctly shorten average query time and improve query efficiency. 　　Key words：XML；metadata；heterogeneous data integration；optimization 　　 　　0 引 言 　　 　　在数据集成项目的开发中经常会遇到这样的情况：待集成数据库的规模大，数据更新不频繁，文件系统数据源较小且分散，用户主要关注的参数较集中，系统对查询效率又有一定的要求.根据这些具体情况，在分析已有数据集成方式特点的基础上，提出异构数据集成优化方案.该方案为所有成员数据源提供统一视图，用户可以进行查询条件的灵活构造，达到异质对象的透明访问；还可以通过相关优化模块提高系统的平均查询效率，减轻系统实时抽取数据时的负荷，并且将此方案应用于油田数据源的集成开发中. 　　 　　1 异构数据源集成 　　 　　目前，Mediator/Wrapper[1，2]模式在数据集成中较流行，针对Mediator的设计方案有3种：PUSH，PULL及混合方式. 　　PUSH方式将用户输入的查询翻译成本地SQL语句，由Wrapper将SQL查询转发给关系引擎.在时间和空间上有很好的性能.但对于非关系型数据源，PUSH方式无法使用. 　　PULL方式通过Wrapper将数据按照一定格式抽取出来形成XML文档，然后通过XQuery[3]引擎查询转换后的XML数据，由组装器产生最终的XML结果.它完全支持XQuery特性，可以集成任何数据源.但当作为数据源的实时系统运行负荷较重时，抽取数据的效率会很低. 　　混合方式[4]结合两种方式的特点，其核心部分是区分数据源类型，选择相应的查询方式.这里提出的集成方案就是采用混合方式.使用PUSH方式进行关系型数据源的数据抽取，使用PULL方式进行非关系型数据源的数据抽取，并设计相关模块以避免各自方式的缺点. 　　 　　2 异构数据源集成系统的设计 　　 　　2.1 系统结构 　　根据集成项目的具体情况，结合数据仓库思想，设