数据仓库系统的技术体系架构设计.pdfVIP

数据仓库系统的技术体系架构设计 作者：成晓旭 QQ：1182321168 该数据仓库系统的主要功能是从众多外部系统中，采集相关的业务数据，集 中存储到系统的数据库中。系统内部对所有的原始数据通过一系列处理转换之 后，存储到数据仓库的基础库中；然后，通过业务需要进行一系列的数据转换到 相应的数据集市，供其他上层数据应用组件进行专题分析。  【概述】 因此，从数据被采集、转换、存储、分析、应用的角度对系统内部技术构件 进行抽象，将系统内部分为采集层、数据处理层、业务应用层、配置层 4 个逻 辑层次。数据分析系统的技术体系架构如下图：  【采集层】 在采集层，主要应用接口适配器、网络文件采集及转换器、ESB 总线等技 术。 接口适配器技术，用于适配各专业系统的数据采集接口，通过接口适配器来 屏蔽各专业接口方式的差异性； 网络文件采集及转换器，用于从各专业系统的采集文件数据，主要针对特定 格式的各类网络数据文件，负责对数据格式进行格式化、规范化等预处理； ESB 总线对标准的 WebService/JMS 接口方式的数据进行采集。  【数据处理层】 在处理层，主要应用数据持久化、J2EE、BI 等技术。 数据持久化主要采用关系数据库技术和文件数据库技术。关系数据库技术， 用于存储系统采集、处理、计算等业务数据，存储系统各类运行参数配置信息， 以及其他的运行过程信息；文件服务器，为各类文件型数据提供数据存储和访问 服务； J2EE 技术，是系统中所有 B/S 逻辑构件、应用程序、Web 服务的容器，为 各种 B/S 组件提供运行环境，并对其生命周期进行管控； BI 的元数据管理为各类动态统计分析报表的数据聚合、多维分析、数据加载、 数据生产、数据项、计算规则、展示方式等提供配置管理。  【应用层】 在应用层，用于人机交互的主要应用 BI、Web 等技术。 Web 技术，提供系统的 B/S 界面的应用，包括 HTML、CSS、JS、Ajax 等； BI 技术，为各类动态统计分析结果提供报表、图形、仪表盘等丰富的展示方 式；用于系统交互的 ESB 总线技术，以数据总线的方式发布 WebService 调用、 或者下发 JMS 数据，通过统一的数据发布系统为外部系统提供服务数据共享服 务。采用第三方标准中间件产品来实现，例如：SAP 的 BOE （BusinessObjects Enterprise）、IBM 的 Cognos、MSTR 的 MicroStrategy 等主流的 BI 中间件产 品。  【配置层】 在配置层，主要应用 ETL 可视化可配置平台、规则引擎、工作流引擎等技术。 ETL 可视化配置技术，用于提供可视化、可配置的 ETL 数据抽取、转换、 加载的处理，主要针对数据库数据、FTP 标准文件格式的数据或者经过网络文 件采集及转换器预处理过的中间数据； 规则引擎部分为采集成各类适配及采集器提供配置数据的集中管理，包括提 供接口文件的采集目录、文件名规则、数据项约定以及 ETL 数据抽取规则等的 配置管理； 工作流引擎，提供从数据采集接口配置、采集数据项、ETL 参数配置、指标 关联映射、BI 参数关联映射等全过程的流程化配置向导。