数据采集集成与预处理技术.pptVIP

2.5 中间件技术 2.5.1 中间件技术的定义与作用 2.5.2 中间件技术在数据仓库系统中数据采集的应用 2.5.1 中间件技术的定义与作用 1. 中间件（Middleware）的定义、特点与解释 目前还没有一个确切的中间件的定义，但是根据诸多中间件的应用实例，大多数专家们将中间件定义为： 中间件是一种独立的系统软件或服务程序，分布式应用软件借助这种软件在不同的技术之间共享资源。 2.5.1 中间件技术的定义与作用 中间件的主要特点包括： 满足大量的、多用途应用的需要； 运行于多种硬件和多操作系统的公共平台； 支持分布式计算，提供跨网络、硬件和OS平台的透明性的应用或服务的交互功能； 中间件往往介于数据仓库系统中间层； 支持标准的协议和标准的接口。 2.5.1 中间件技术的定义与作用 通用中间件类型包括： 企业服务总线（Enterprise Service Bus, ESB） 分布式计算环境中间件 事务处理（Transaction Processing, TP）中间件 远程过程调用（Remote Procedure Call, RPC）中间件 面向对象请求代理（Object Request Broker, ORB）中间件 数据库访问中间件（Database Access Middleware, DCM） 面向消息中间件（Message-Oriented Middleware, MOM） 基于XML 的中间件（XML-Based Middleware） 2.5.1 中间件技术的定义与作用 中间件未来发展趋势将朝着如下目标发展： 规范化 构件化和松耦合 平台化 2.5.1 中间件技术的定义与作用 2. 基于数据仓库系统的中间件 目前作为数据仓库的中间件有： 数据采集系统中的中间件 数据仓库系统的中间件 基于数据仓库决策系统的中间件 2.5.2 中间件技术在数据仓库系统中数据采集的应用 云南航务海事综合管理系统的研究项目为例。 1. 系统的建设体系 第一 数据层建设层面 第二 业务系统建设层面 第三 综合平台建设层面 第四 门户网站建设层面 2.5.2 中间件技术在数据仓库系统中数据采集的应用 系统的建设体系 2.5.2 中间件技术在数据仓库系统中数据采集的应用 系统整体结构 2.5.2 中间件技术在数据仓库系统中数据采集的应用 具体中间件有： 在数据层建设层面上的中间件即数据整合系统中间件。 由于业务系统建设层面的所有业务管理数据库的数据都来源于其底层的数据整合系统，因此，本层面的中间件仍然是数据采集系统中间件。 由于航务海事综合平台层面的每个子平台都是多系统和跨系统的公共机制平台，所以在其中的各个系统在业务流程的定制与自定义过程中存在中间件技术，具有代表的是协同办公平台。 在门户网站建设层面上的中间件有：消息的传递、电子邮件的传输、数据文件的传输等。 2.5.2 中间件技术在数据仓库系统中数据采集的应用 2. 基于数据整合系统的中间件应用 数据整合系统的中间件应用如图所示： 2.5.2 中间件技术在数据仓库系统中数据采集的应用 航务海事综合平台资源整合的结构 2.5.2 中间件技术在数据仓库系统中数据采集的应用 单点登陆实现机制 2.5.2 中间件技术在数据仓库系统中数据采集的应用 数据整合结构如图所示： 2.5.2 中间件技术在数据仓库系统中数据采集的应用 数据交换机制如图所示 ： 2.5.2 中间件技术在数据仓库系统中数据采集的应用 协同办公机制如图所示： 2.5.2 中间件技术在数据仓库系统中数据采集的应用 其中的业务工作处理实现机理如图所示： 2.5.2 中间件技术在数据仓库系统中数据采集的应用 实现组件如图所示： 2.5.2 中间件技术在数据仓库系统中数据采集的应用 其中的过程监控预期效果如图所示： 2.5.2 中间件技术在数据仓库系统中数据采集的应用 实现结构例子如图所示： 2.6 小结 本章重点研究数据采集、集成技术和数据预处理方法。 由于数据采集的数据对象种类和数据源复杂，对于时间序列、Web数据、多媒体数据和空间数据这四类特殊种类的数据采集需求做出重点阐述。 在数据集成技术方面主要介绍了3G与MIS的集成技术、异构数据的集成和集成系统开发技术。 数据预处理主要有数据清理、数据融合、数据变换和数据归约操作。 重点研究基于样本数据划分的通用数据挖掘模型系统。 最后介绍基于数据仓库系统中数据采集系统中的中间件技术的应用实例。 本章内容结束！ 辽宁省物流航运管理系统工程重点实验室 数据挖掘技术与应用 陈燕教授 第2章 数据采集集成与预处理技术 大连海事大学 本章提纲 数据采