基于Ｗｅｂ　Ｓｅｒｖｉｃｅ技术分布式并行数据挖掘的研究与实现.docVIP

基于Ｗｅｂ　Ｓｅｒｖｉｃｅ技术分布式并行数据挖掘的研究与实现 　　摘 要：主要介绍基于Web Service技术的一个数据挖掘系统，在一个关联规则挖掘的并行算法―CD算法的基础上，结合一种基于动态数据集划分的并行关联规则挖掘算法，利用动态方式分配数据量，使每个处理器获得相同多的数据集，解决在网络中大量分散的数据因通信等问题而引起的负载平衡，从而提高了数据挖掘效率。?? 　　关键词： Web服务；关联规则；并行数据挖据；动态数据集?? 　　中图分类号：TP393 文献标识码：B 　　文章编号：1004-373X(2008)10-042-03?オ? 　　 　　Reserch and Realization of Distributed and Parallel Data Mining Based on Web Service?? 　　JIN Chunxia1,2??,BAI Qiuchan2?? 　　(1.Southeast University,Nanjing,223001,China;2.HuaiyinInstituteofTechnology,Huaian,223001,China)?オ? 　　Abstract：The paper gives a distributed data mining system based on Web Services.On the basis ofCD algorithm,the paper presents a parallel algorithm for mining association rules based on dynamic dataset partition.By uning dynamic method to allocate data,a processor can obtain same dataset.Since it solves the load balance better because of the problems of distributed-data and communication,improves the efficiency of data mining.?? 　　Keywords：Web service;association rules;parallel data mining;dynamic dataset?? 　　 　　1 引 言?? 　　随着计算机在社会各领域的广泛深入应用，在测绘、商业、金融业等各领域中每天都在产生数量巨大的数据，Internet领域的迅猛发展也使得网络中的各种信息日益丰富。而这些数据又分布在不同地区。面对大量的GB级、TB级甚至更多的数据，如何处理数量日益增长的数据成为当今数字化社会面临的一个极具挑战性的问题。而随着网络系统的广泛应用，分布式数据挖掘日益受到关注，而分布式系统中存在着分布数据和异构性等问题，因此分布式数据挖掘不仅需要解决集中式数据挖掘中的算法时间复杂性问题，还要考虑数据的转换、站点扩展性以及通信代价等问题。本文针对并行关联规则挖掘算法不能有效的解决负载平衡，而导致挖掘效率低的问题,在CD算法的基础上,介绍一种基于动态数据集划分的并行关联规则挖掘算法，更好地实现负载平衡,从而提高并行数据挖掘的效率。?? 　　 　　2 Web Service简介?? 　　2.1 Web Service技术?? 　　Web Service技术是建立可互操作的分布式应用程序的新平台。他使得各种平台以各种不同语言和技术开发的分布式计算技术能够相互协作和交互，供现有的或潜在的客户以一些标准的方式访问。他最大特点就是松耦合、跨平台，这些特点无疑为分布式数据挖掘提供了良好的支持。?? 　　利用Web Service技术构建一个数据挖掘系统，其应有以下几个特点：灵活的数据挖据架构，可以根据不同的应用领域，灵活和快捷地选择最合适的数据挖据方法和数据挖据算法；具有分布式的软件架构，能在更大程度上满足用户的需求；可以在一定程度上实现分布并行的数据挖掘，提高数据挖掘的效率。同时利用该技术，可以将一个挖掘任务分配到多台计算机上运行，从而实现并行数据挖掘[1]。?? 　　2.2 Web Service的结构?? 　　Web Service是一种面向服务的体系结构，他能够创建服务的抽象定义、提供服务的具体实现、发布并查找服务、实现服务实例选择，并实现可互操作服务的使用。Web service体系结构基于3种角色（服务提供者、服务注册中心和服务请求者）之间的交互。交互涉及发布、查找和绑定操作。服务提供者是提供最终Web Service的供应商，他既是Web Service的拥有者，负责其所拥有服务的发布、更