ces地数据采集.PDF

2004年5月 重庆 大学学报 Mav 2004 第27卷第5期 Journal of Chongqing University Vo1．27 No．5 文章编号：1000—582X(2004)05—0034—04 基于Web Services的数据采集 胡泽军，李 华，吴 中福 (重庆大学计算机学院，重庆 400030) 摘 要：以异构的、自治的、分布的数据库系统构建数据仓库是个挑战，必须解决两个问题：一是采 取有效的措施从各分布的异构数据源采集数据，二是对收集来的数据进行清理和格式转换。笔者分析 了Web services的开放性和互操作性，提出了以SOAP协议和HTIP协议连接Internet的异构数据源，实 现基于Web Services的数据采集系统。基于组件技术，提出了一种通用的数据采集器结构，用于数据清 理和数据转换。并探讨了数据采集器以XML方式实现数据转换和数据装载的核心技术。 关键词：Web Services；数据采集；SOAP；数据仓库；异构数据源；XML 中图分类号：TP393 文献标识码：A 许多商业集团经过多年的发展，积累了丰富的数 据，可供决策用的数据资源越来越多。这些数据是存 放在多个异构的、自治的、分布的信息系统中。各数据 库结构的差异，操作平台的异构性以及混乱的概念和 术语，成为共享的数据资源的障碍。将来自多个异构 数据源的信息进行复制、预处理、集成、注释、汇总后， 图1 基于web Services数据采集系统 存储于一个语义一致的数据仓库，解决了操作异种数 据库的数据问题，也为数据挖掘创造了条件…。以异 公司)、一个采集器和注册机构。每个异构子系统都 有一个Web Services服务器，Web Services屏蔽异构子 构平台上的数据构建数据仓库，必须解决两个关键问 系统的内部细节，向外公布它的服务接口，能响应采集 题：一是采取有效的措施从各数据源收集数据，二是将 器的请求、并提供服务。UDDI(Universal Description 收集来的数据进行处理，转换数据格式、剔出无效数 Discover and Integration)注册中心是在 Interact上为 据，最后将数据加载到数据仓库中。目前采用的办法 Web Services提供注册服务的机构。客户能通过UD． 是为每个需要集成的企业资源或外部资源编写连接代 DI注册中心查找可用的Web Services。采集器的功能 码，提供访问界面。由于每个应用的基础架构都不尽 是从各个Web Services收集数据，处理后向公司总部 相同，在这些应用上修改和维护系统极为困难。针对 的数据仓库中加载数据。采集器通过 SOAP／http 这些些问题，笔者论述了如何利用现有工具和Web (Simple Object Access Protoco1)协议同Web Services间 Services核心技术，低成本地连接异构数据源、为数据 交换XML文档数据。 仓库采集数据。