网格数据融合系统中的数据源管理.pdfVIP

第34卷 第22期 计 算 机 工 程 2008年 l1月 VoL34 No．22 ComputerEngineering November2008 · 软件技术与数据库 · 文章编号2008)22--0063一 —■ ——— — 网格数据融合系统中的数据源管理 徐志 ，陆朝俊 (上海交通大学计算机科学与工程系，上海 200240) 摘 要：针对网格海量动态数据高效融合的要求，提出一个新的数据源管理方案，包括一套面向对象的元数据描述规范、基于此规范的数 据查询机制以及模式融合策略，以解决传统网格中动态异构数据源难以维护的问题。给出一种基于聚类的有效类挖掘算法。实验证明，该 算法能大大优化系统性能。 关健词：数据融合；网格计算；信息集成 DataSourceM anagementinGridDataFusionSystem XUZhi-lin，LUChao-jun (DepartmentofComputerScienceandEngineering，ShanghaiJiaotongUniversity，Shanghai200240) [Abstract]Thispaperproposesanovelmethodfordatasourcemanagementinagrid-basedinformationintegrationsystemforhugevolumeof dynamicdata．Itincludesanobject—orientedmetadatadescriptionspecification，adataquerymechanismandaschemaintegrationstrategy，which caneffectively solvethemanagementproblem ofdynamicdatasourcesin datagird．Aneffectiveclassmining algorithm basedon clustering techniqueisusedtOoptimizetheperformance [Keywords]datafusion；gridcomputing；informationintegration 1 概述 2 面向对象的元数据描述规范 网格计算…的概念是随着高性能计算的应用需求发展起 数据模式是整个数据融合系统对上层应用提供数据的一 来的，主要从学术角度考虑广域网内计算机资源的共享，从 种统一表示格式，也是各异构数据源注册时所应遵循的格式。 而达到资源的最大化利用。目前网格发展的焦点是更高层次 它应包括一套语义描述规范，向上对数据应用提供尽可能接 的资源共享管理，比如如何将广域网范围内海量的文字、图 近自然语言的元数据描述，向下对数据源提供尽可能简单的 片等元素抽象为数据，甚至抽象为信息，进行全局层次的融 数据源注册规则。因此，这里使用一种面向对象的模式描述 合，供上层应用统一访问。 数据，以 “类”为单元组织整个数据结构。例如： 在网格中，往往要处理海量的非结构化数据并维护海量 classid=”hotel” 动态数据源，以适配器模型为基础的传统数据集成技术 就 properties 很难达到要求，特别是以效率为先的集中式管理方式