基于Web services分布式信息检索机制研究.docVIP

基于Web services分布式信息检索机制研究 　　 ?お? 　　摘要：为进一步提高系统的信息处理能力，提出一种基于Web services的分布式信息检索机制，通过研究调度、索引、负载、分配服务器、结果集的汇总排序等关键问题，实现分布式信息检索的研究，具有更高的跨平台性和较好的通用性。?? 　　关键词：Web services技术；同步容错；排序算法；布式技术?? 　　中图分类号：TP311.52文献标识码：A文章编号：1672-7800（2011）07-0076-03?お? 　　?? 　　作者简介：张冰波(1981-)，男，河南温县人，郑州轻工业学院民族职业学院助理讲师，研究方向为数据挖掘、人工智能；宋荣华（1983-），女，河南周口人，郑州轻工业学院民族职业学院助理讲师，研究方向为数据挖掘、人工智能。 　　 　　 　　1Web services技术 ?? 　　 Web services通过接口的定义，可以连接不同功能的服务。它是一种面向服务的体系结构，在这种结构中的接口独立于操作系统和硬件平台。无论是节点传感器、个人计算机的windows平台或是大型服务器用的Unix平台都可以实现跨平台的Web服务。Web services的优点：①跨平台性；②较好的通用性；③不同系统的低依赖性；④修改及更新的自适应性。利用Web services的上述优势，可以简化分布式架构中应用系统异构集成，通过添加另外的硬件资源或者是增加新的软件功能，扩展现有的应用系统。?? 　　2分布式并行处理设计?? 　　 Web services技术的应用能够解决资源存储量过大检索复杂和检索性能下降的问题，也为将来的扩展打下了基础。分布式结构涉及到的每个节点服务器形式上都是相对独立的，我们必须解决好他们相互间的协作问题，特别是如下问题：?? 　　 （1）调度、索引、负载、分配服务器的实现方式选择：基于Web services技术进行分布式处理，主要涉及到索引的分布式存储，检索的分布式运行，Spider的分布式。如果每个进程基本上执行同一个控制流，但处理的数据不同，每台服务器完成的任务不同，因此需要将应用程序数据或是索引分配给不同服务器，也称为数据并行。?? 　　 （2）结果集的汇总排序：在分布式处理之后，对返回的结果按照特定的要求，进行排序，尽量合乎用户的需求。?? 　　 在处理数据的工程中，采用将分布在不同地域的节点服务器上的信息，通过建立中具有检索意义的事项（可以是人名、地名、词语、概念或其他事项）按照一定方式有序编排起来，以供检索的机制，我们称为分布式索引机制。?? 　　 　　 　　 　　 　　 　　 　　 　　 　　 　　 　　索引分散在每一个节点服务器，用户通过检索界面向节点服务器发送检索请求，收到请求的服务器将检索信息发给任务管理器中间件程序，根据用户请求信息进行任务分配，再返回检索结果。因为Search Engine是分布式的，每个节点服务器上都有的，因此需要任务管理器对多个Search Engine返回的结果进行汇总排序，在有效的时间内把结果返回给用户。系统拓扑结构图如图1所示。?? 　　 　　图1多点分布式索引拓扑结构图?? 　　 　　3分布式数据索引同步容错?? 　　 同步容错技术是这样一种技术，它通过使在分布式数据库中的数据库站点之间的数据更新的同步，达到使数据分布存放的目的，从而实现数据库的分布式处理应用。这种同步容错方式允许用户透明地存取那些分布存放的数据，是想数据存放的虚拟性，即用户所需资源就在本地的数据库服务器上。整个同步流程可分为3个功能相对独立的处理步骤：变化捕获（Change Capture）、数据分发（Data distribute）和数据更新（Data Update），它们是组成数据同步容错的3个主要环节。?? 　　 　　图2数据同步过程图?? 　　 由于系统的分布式结构，决定了系统的索引必然分布式存放，为了保证存放于不同位置的节点服务器中的索引能够同步，需要对数据库进行监管，并使之运行于不同的索引服务器中进行索引同步操作，为了保障数据的安全性还必须建立索引的备份机制，分布式数据库的同步方法常见的有快照法、触发器法、日志法、API法、影子表法和控制表变化法等6种形式。本文采用分布式多点索引同步容错即：可以在任一服务器组遭受的破坏（包括硬件、软件、人为、自然等因素）的情况下，为了保证系统的正常运行，可以立刻切换到另一个地点的索引服务器。如本系统所部署的服务器组分别位于地点1：上海；地点2：郑州。系统拓扑如图1所示。并不是把本地所有的数据都发送到Web服务器，总是要先判断本地的数据有没有发生过变化，如果有，则客户端只发送变化了的数据给服务器端，如果