银行数据仓库建设新项目专题方案.docVIP

XX银行 EDW/数据仓库项目方案 目 录 TOC \o 1-3 \h \z 第一章 系统总体架构 ３ 1.1 总体架构设计概述 ３ 1.1.1 总体架构设计框架 ３ 1.1.2 总体架构设计标准 ４ 1.1.3 总体架构设计特点 ４ 1.2 EDW实施架构 ５ 1.2.1 实施架构概述 ５ 1.2.2 实施架构设计标准 ５ 1.2.3 实施架构框架 ６ 1.3 EDW逻辑架构 １３ 1.3.1 逻辑架构框架 １３ 1.3.2 数据处理步骤 １９ 1.4 EDW运维架构 ２０ 1.4.1 运维架构概述 ２０ 1.4.2 运维架构逻辑框架 ２１ 1.5 EDW数据架构 ２６ 1.5.1 数据架构设计标准 ２６ 1.5.2 数据架构分层设计 ２８ 1.6 EDW应用架构 ３０ 1.6.1 应用架构设计标准 ３０ 1.6.2 数据服务 ３１ 1.6.3 应用服务 ３２ 第二章 ETL体系建设 ３３ 2.1 ETL架构概述 ３３ 2.2 ETL设计方案 ３５ 2.3 ETL关键设计步骤 ３５ 2.3.1 接口层设计策略 ３５ 2.3.2 Staging Area设计策略 ３５ 2.3.3 数据加载策略 ３６ 2.3.4 增量ETL设计策略 ３６ 2.3.5 异常处理 ３８ 2.3.6 作业调度和监控 ３９ 2.3.7 元数据管理 ３９ 2.3.8 ETL模块设计 ３９ 2.3.9 ETL步骤设计 ４２ 2.3.10 动态资源分配 ４４ 2.3.11 数据接口设计 ４５ 系统总体架构 总体架构设计概述 总体架构设计框架 XX银行EDW项目标总体架构分为基础技术架构、应用架构和数据架构三个关键部分。这三个部分共同组成了XX银行EDW系统。 在基础技术架构中，包含实施架构、逻辑架构、功效组件架构和运维架构四个部分。 实施架构描述系统大框架和模块区域，和之间逻辑关系；是确定生产环境建设要求及指导标准。 逻辑架构描述EDW各个模块之间数据接口、数据流向、工具使用和采取具体技术实现手段或方法情况，用于规范本项目最终生产环境建立。逻辑架构是建立应用架构、实施架构、运维架构基础，也是建立实施架构、应用架构和运维架构原型系统。 功效组件架构描述确定系统各个大组件组件区域功效模块框架，和提供某种服务类型。 运维架构是描述EDW项目标运维架构标准，包含运维架构设计内容、设计标准、各组成组件设计考虑原因、约束、要求等。运维架构经过对应步骤和工具实现对逻辑架构、功效组件架构、实施架构、数据架构和应用架构运维和管理。 而数据架构和应用架构关键描述： 应用架构是EDW为满足业务需求所提供系统应用功效及其蓝图设计，其中业务需求是应用架构设计基础，最终应用架构将以应用系统形式表现在实施架构中，关键包含：应用服务和数据服务。 数据架构描述于EDW系统相关数据流动策略，即数据在EDW系统实施架构下抽取、转换、储存策略和应采取步骤，包含数据层次和总分行之间数据分部情况等。数据架构是建立实施架构标准需求定义。 下图是EDW项目总体架构框架： 总体架构设计标准 总体架构在着重考虑实施要求同时，需要为后续阶段进行计划，以确保项目最终能够达成目标架构设计； 总体架构设计要基于包含XX银行数据现实状况分析、实施阶段数据源情况分析、第一阶段实施EDW设计提议做为参考； 总体架构设计架构时充足考虑和现有系统兼容，充足利用已经有结果，避免反复开发和建设。 总体架构设计过程中应遵守XX银行IT管理规程，确保最终系统能够顺利布署并移交给XX银行运行维护部门。 总体架构设计特点 权衡功效、性能、可扩展性、易用性、可管理性和性价比。 依据XX银行数据情况和分析需求，采取多层次企业EDW系统架构来确保在存在复杂数据种类和关系海量数据上进行业务分析和查询在业务支持能力和性能等方面要求。 多级／自动增量ETL加载机制，有效提升ETL并发度、加载效率，降低错误处理复杂性。 经过用户入口支持用户采取Web浏览器使用查询和分析工具，统一信息服务界面，提升系统易用性，降低技术支持工作量。 利用企业信息集成和Web数据服务，提升系统数据支持能力和接口一致性。统一数据增强平台也降低数据增强复杂度。 EDW实施架构 实施架构关键内容是描述EDW项目实施架构建设要求及指导标准，用于规范本项目最终生产环境建设。EDW项目标生产环境建立需要参考并遵照实施架构部分提出要求。 实施架构概述 实施架构是EDW概念环境，关键包含：源数据、数据落地域、ETL、数据准备区、数据存放区EDW、业务应用、用户环