基于网格的Deep Web数据集成系统研究.doc

基于网格的Deep Web数据集成系统研究 詹青? 崔宾阁 （山东科技大学 信息科学与工程学院，山东 青岛 266510） ? ??? 摘? 要　随着互联网技术的发展，Deep Web已成为网络信息资源的主要组成部分，且具有异构、动态、数量大等特点。必须要对Deep Web数据进行大规模集成才能有效地利用Deep Web资源。在分析网格计算特点的基础上，提出了基于网格的Deep Web数据集成系统框架并作了详细的技术分析与研究。系统的特点是充分利用网格高效的分布式处理能力达到为用户有效提供集成的Deep Web数据资源的目的。 ??? 关键词　Deep Web；网格；OGSA-DAI；数据集成 ?  1　引言 ??? 根据用户获取Web信息资源方式的不同，人们把Web分为Surface Web和Deep Web两类。Surface Web是指能够通过传统搜索引擎索引的以超链接可达的静态页面或资源的集合，Deep Web是一个与Surface Web相对应的概念，最初由Dr.Jill Ellsworth于1994年提出，指那些存储在Web数据库中的动态信息资源集合，其内容不能通过传统搜索引擎索引也不能通过超链接访问，只能通过填写表单（Form）提交查询时才会由Web服务器把动态生成的页面返回给访问者。 ??? Deep Web的规模大约是Surface Web的400~500倍，并且仍在高速增长。据美国伊利诺伊大学计算机科学系Bin He等人2004年7月发表的一份调研报告，全球Deep Web已有大约30.7万个站点、45万个数据库和125.8万个界面，并且持续快速增长，2000年到2004年期间增长了3~7倍。到2006年初，仅中国的Deep Web就有约24，000个站点，28，000个后台数据库和74，000个查询接口。Deep Web已成为网络信息资源的主要组成部分，且具有异构、动态、数量大等特点，以手工的方式难以对其加以有效的利用，必须对Deep Web数据进行集成即以自动的方式才能完成对Deep Web信息的有效利用。鉴于Deep Web的特点设计了一个基于网格的Deep Web数据集成系统，以便充分利用网格高效的分布式处理能力为用户有效地提供集成的Deep Web数据资源。 2　相关知识与研究背景 ??? 网格概念产生于20世纪90年代中期的美国，它借鉴电力网的概念，期望能够像使用电力一样方便地使用分布在网络上的丰富资源，网格的本质特征是分布，与传统分布式计算相比，网格计算最大的特点就是能够在非集中控制的环境中最大程度地实现资源共享，满足用户对高性能计算的要求。网格的发展目标是要将整个互联网整合成为巨大的超级虚拟计算机，对计算资源、存储资源、数据资源、通信资源、软件资源、信息资源等进行全面共享，为用户提供科学计算、数据存储、信息获取、远程控制等各种高性能网络服务，最大限度地提高网络资源利用率。网格作为一种新的计算基础设施，具有分布性、自治性、异构性、动态性等特点。 ??? 网格体系结构是关于如何建造网格的技术，它描述了网格系统的基本组件及其功能，以及各个组件之间的相互关系和网格系统的运行机制。网格体系结构经历了一个逐步演进的过程。从最初的五层沙漏结构到后来，在以IBM为代表的工业界的影响下，全球网格论坛GGF于2002年给出的OGSA（Open Grid Services Architecture，开放网格服务体系结构），首次在网格体系结构中引入了Web Service技术，但OGSA中服务所指的内容相对于五层沙漏结构更加广泛。GGF同时给出了OGSI（Open Grid Services Infrastructure，开放网格服务基础设施）作为OGSA的实施标准。但OGSI过分强调网格服务和Web服务的差别，将资源状态封装在服务中，导致了网格服务不能与Web服务很好地融合在一起。为了解决OGSI和Web服务的矛盾，Globus联盟、IBM和HP于2004年初共同提出了WSRF（Web Service Resource Framework，Web服务资源框架），WSRF作为OGSA的另一种实施标准，采用“有状态资源，无状态服务”的定义，将网格服务演变成了Web服务和资源文档两部分，对现有的Web服务具有良好的兼容性。WSRF的出现标志着侧重科学活动的网格计算开始转向面向服务的信息网格。WSRFvl.2规范己于2006年4月3日被批准为OASIS（Organization for the Advancement of Structured Information Standards，结构化信息标准促进组织）标准。 ??? 网格中间件向人们提供最基本、最核心的网格计算功能，它是构建网格环境所必需的基础资源和服务。本