XX银行数据仓库建设项目实施总结方案.docVIP

银行数据仓库建设方案文件 XX银行 EDW/数据仓库项目方案 １ 银行数据仓库建设方案文件 目 录 第一章 系统总体架构 ４ 1.1 总体架构设计概述 ４ 1.1.1 总体架构的设计框架 ４ 1.1.2 总体架构的设计原则 ５ 1.1.3 总体架构的设计特点 ５ 1.2 EDW执行架构 ６ 1.2.1 执行架构概述 ６ 1.2.2 执行架构设计原则 ６ 1.2.3 执行架构框架 ７ 1.3 EDW逻辑架构 １４ 1.3.1 逻辑架构框架 １４ 1.3.2 数据处理流程 ２０ 1.4 EDW运维架构 ２１ 1.4.1 运维架构概述 ２１ 1.4.2 运维架构的逻辑框架 ２２ 1.5 EDW数据架构 ２７ 1.5.1 数据架构设计原则 ２７ 1.5.2 数据架构分层设计 ２９ 1.6 EDW应用架构 ３１ 1.6.1 应用架构设计原则 ３１ 1.6.2 数据服务 ３２ 1.6.3 应用服务 ３３ 第二章 ETL 体系建设 ３４ 2.1 ETL架构概述 ３４ ２ 银行数据仓库建设方案文件 2.2 ETL设计方案 ３６ 2.3 ETL关键设计环节 ３６ 2.3.1 接口层设计策略 ３６ 2.3.2 Staging Area 设计策略 ３６ 2.3.3 数据加载策略 ３７ 2.3.4 增量 ETL 设计策略 ３７ 2.3.5 异常处理 ３９ 2.3.6 作业调度和监控 ４０ 2.3.7 元数据管理 ４０ 2.3.8 ETL 模块设计 ４０ 2.3.9 ETL 流程设计 ４３ 2.3.10 动态资源分配 ４５ 2.3.11 数据接口设计 ４６ ３ 银行数据仓库建设方案文件 第一章 系统总体架构 1.1 总体架构设计概述 1.1.1 总体架构的设计框架 XX银行 EDW项目的总体架构分为基础技术架构、应用架构和数据架构三个核心部分。这三个部分共同组成了 XX银行 EDW系统。 在基础技术架构中， 包括执行架构、 逻辑架构、功能组件架构和运维架构四个部分。 执行架构描述系统大的框架和模块区域，以及之间的逻辑关系；是确定生产环境的建设要求及指导原则。 逻辑架构描述 EDW各个模块之间的数据的接口、数据流向、工具使用和采用具体的技术实现手段或方式情况， 用于规范本项目最终生产环境的建立。逻辑架构是建立应用架构、执行架构、运维架构的基础，也是建立执行架构、应用架构以及运维架构的原型系统。 功能组件架构描述确定系统各个大的组件组件区域的功能模块框架， 以及提供的某种服务类型。 运维架构是描述 EDW项目的运维架构标准，包括运维架构设计的内容、设计原则、各构成组件的设计考虑因素、约束、要求等。运维架构通过相应的流程和工具实现对逻辑架构、功能组件架构、执行架构、数据架构以及应用架构的运维和管理。 而数据架构和应用架构的主要描述： 应用架构是 EDW为满足业务需求所提供的系统应用功能及其蓝图设计，其中业务需求是应用架构设计的基础， 最终的应用架构将以应用系统的形式体现在执行架构中，主要包括：应用服务和数据服务。 数据架构描述于 EDW系统相关的数据流动策略， 即数据在 EDW系统的执行架构下的抽取、转换、储存策略以及应采用的流程，包括数据层次和 ４ 银行数据仓库建设方案文件 总分行之间的数据分部情况等。 数据架构是建立执行架构标准的需求定 义。 下图是 EDW项目总体架构的框架： 1.1.2 总体架构的设计原则 总体架构在着重考虑实施要求的同时，需要为后续阶段进行规划，以保 证项目最终能够达到目标架构的设计； 总体架构的设计要基于包括 XX 银行数据现状分析、实施阶段数据源情 况分析、第一阶段实施 EDW设计建议做为参考； 总体架构设计架构时充分考虑与现有系统兼容，充分利用已有成果，避 免重复开发和建设。 总体架构设计过程中应遵守 XX银行的 IT 管理规程，保证最终的系统可 以顺利的部署并移交给 XX银行的运行维护部门。 1.1.3 总体架构的设计特点 权衡功能、性能、可扩展性、易用性、可管理性和性价比。 ５ 银行数据仓库建设方案文件 根据 XX银行的数据情况和分析需求， 采用多层次的企业 EDW系统架构来 保证在存在复杂的数据种类和关系的海量数据上进行业务分析和查询 在业务支持能力和性能等方面的要求。 多级／自动的增量 ETL加载机制，有效提高 ETL 并发度、加载效率，降 低错误处理的复杂性。 通过用户入口支持用户采用 Web浏览器使用查询和分析工具，统一的信 息服务界面，提高系统易用性，减少技术支持工作量。 利用企业信息集成和 Web数据服务，提高系统的数据支持能力和接口的 一致性。统一的数据增强平台也减少数据增强的复杂度。 1.2 EDW执行