Web Service构架下分布式数据挖掘.docVIP

Web Service构架下的分布式数据挖掘 摘 要：提出一种基于动态数据集划分改进的并行关联规则挖掘算法，它是先实时评估处理器的工作性能后动态地分配给工作量，从而平衡负载。该算法能极大地实现分布式环境下的数据挖掘。 关键词：web service 数据挖掘 特点 1 引言 随着计算机在社会的各行各业中得到了广泛而深入的应用和信息技术的不断的发展，各行各业特别是在商业、金融以及数据分析比较密集的领域中时刻都再产生出大量的计算机数据，再加上web及internet技术的迅速发展网络中得各式各样的信息和数据也越来越丰富。特别是当前的数据又分布于不同地区，在面对这种大量的gb 级、tb 级甚至更多的数据的情况下，如何处理数量日益增长的数据以及如何在这纷繁的信息数据中找到我们需要和精准的有用信息就显得十分的重要。这样计算机数据挖掘这一个年轻的学科在当今的计算机数据的处理和数据的挖掘中得到了越来越广泛的关注和应用。所谓的数据挖掘，简单来说就是应用计算机的一系列算法从海量的计算机数据中提取或“挖掘”有用的信息。随着计算机应用和技术的不断发展，人们在数据挖掘技术的研究也获得了不错的成绩，数据挖掘在这种背景下得到了很大的发展。 web服务是基于分布式架构并且独立的运行于操作系统的一种的计算机服务技术，通过这个可互操作的应用程序的平台和标准的web协议就可以让程序访问的应用程序逻辑。它具有更加广阔的应用空间是由于web服务的分布式的技术特点使得它具有跨平台和跨internet的优点，这样就能成功的使用网络的强大的可伸缩性的特点，完成很多用于重复使用和互操作的目的的工作。web技术和数据挖掘技术的良好切合就能避免传统数据挖掘中大量转储和效率低下的缺点，提高数据挖掘的效率和灵活性，为企业提高效率和效益提供了保障。 2 web service体系 web service 技术是面向服务的能够给予服务的抽象定义和服务的发布、具体实现并给以服务查找、服务实例选择并实现可交互操作的一种体系结构。web service 体系结构基于服务提供者（service provider）、服务注册中心(service registry)和服务请求者(service requestor)之间的交互并依赖于依赖soap（simple object access protocol）、wsdl(web services description language) 和uddi(universal description discovery and integration) 三者的技术。其中的交互包含了发布（publish）、查找（find）和绑定（bind）操作。wsdl所提供的服务描述是通过web 服务提供方送达web 服务注册中心后，注册中心基于wsdl所提供的服务描述，按照uddi 的协议的要求更新internet上的服务目录并发布在internet上。用户要与服务的提供商取得通信就必须得到web 服务提供者的服务接口和地址等信息，这首先必须向注册中心发出通信请求，然后通过soap 协议与其进行连接和绑定服务后才能进行通信。服务提供者是实现web service 的应用平台，也同时是web service提供的最终供应商。它既负有服务的发布、更新和回收的责任，同时它是web service 的拥有者，描述web service 的内容并将这种描述发送到服务注册中心或服务请求者；服务注册中心集合了大量在线的web service，在这个中心中对web service 进行注册。按照一般的程序来讲，服务提供者在在线服务器上安装了web service 之后后, 会在服务注册中心发布web service服务。 3 web service 下的数据挖掘 建立在分布式web service计算体系的这种数据挖掘系统结构的各个局部子数据挖掘模块是独立存在并作为独立的web 服务进行注册以及发布的。它能够在各个不同的的系统和平台中移植，在实际的操作中有相当好的的可移植性，并且很好的协调不同平台的差异以及不同数据结构中的差异，并且在系统的用户透明性方面做得相当好，灵活的跨越防火墙和服务器进行通信和服务。这种体系结构主要包括如图1 所示的几个结构模块： (1)用户gui。它是作为与用户之间起到交互作用的人性化界面，这种界面根据不同的需求定制针对不同需求的用户服务，并作为结果展现的界面。 (2)全局汇总模块。它是分析处理模块，该模块将挖掘的局部数据处理的结果数据进行处理和分析，最终得到全局期望的知识表示。 (3)注册中心模块。它的主要功能是进行服务的注册和查询，从注册中心用户可以获取所需的相关服务和对自己的挖掘服务进行发布。 (4)对外服务模块。它是用来封装上述服务的模块，并向注册中