GHBANK_历史数据仓库项目_概要设计说明书_V0.0.8.docx

概要设计说明书 广东华兴银行历史数据仓库项目 概要设计说明书 项目名称 实时、历史数据仓库项目 项目编号 KJXQ201505273068 版本记录 版本号 修改日期 修改内容 修改者 审核者 状态 发布范围 V0.0.0 2015-10-12 新建文档 李智杰 初稿 V0.0.1 2015-10-13 调整目录 李智杰 修改 V0.0.2 2015-10-13 修改ETL服务章节内容 李智杰 修改 V0.0.3 2015-10-13 修改数据获取层章节内容 王玉娟 修改 V0.0.4 2015-10-14 增加7*24小时处理机制，作业同步控制 陈云亮 修改 V0.0.5 2015-10-15 评审后的修改 王玉娟陈云亮 李智杰 修改 V0.0.6 2015-10-17 增加标准转换工具，装数卸数工具流程图 陈云亮李智杰 修改 V0.0.7 2015-10-20 更新了本文档3.7节标准接口区用户规范 陈云亮 王玉娟 修改 V0.0.7 2015-11-05 更新3.3节系统清单及简称 王玉娟 修改 V0.0.8 2016-1-27 更新7.5作业依赖判断及文件传输 吴振华 修改  目录 TOC \o "1-3" \h \z \u 1 引言 1 1.1 项目背景 1 1.2 文档目的 1 2 总体架构 1 2.1 数据仓库入仓原则 1 2.2 数据仓库逻辑架构 2 2.3 数据仓库软件架构 3 2.4 数据仓库物理架构 4 2.5 服务器软硬件配置 4 2.5.1 硬件环境 4 2.5.2 软件环境 5 3 源系统层 5 3.1 源系统数据获取原则 6 3.2 源系统数据源范围 6 3.3 源系统数据抽取方式 7 3.4 源系统数据抽取的增全量方式 9 3.5 源系统日终条件判断 10 3.6 源系统软件环境要求 10 3.7 标准接口区用户规范 11 3.8 标准接口区数据要求 11 4 数据服务层 12 4.1 技术缓冲层 13 4.1.1 功能说明 13 4.1.2 设计思路 13 4.1.3 数据存储周期 13 4.2 基础模型层 14 4.2.1 功能说明 14 4.2.2 设计思路 14 4.2.3 数据存储周期 16 4.3 公共汇总区 17 4.3.1 功能说明 17 4.3.2 设计思路 18 4.3.3 数据存储周期 18 4.4 集市区 19 4.4.1 功能说明 19 4.4.2 设计思路 19 5 数据获取层 20 5.1 通用标准转换工具 20 5.1.1 功能说明 20 5.1.2 设计原则 21 5.1.3 设计思路 21 5.1.4 转换MAPPING规范 22 5.1.5 参数配置 22 5.2 通用装数卸数工具 22 5.2.1 功能说明 22 5.2.2 设计原则 22 5.2.3 设计思路 23 5.2.4 程序模块 23 5.2.5 重要功能点技术方案 27 5.2.6 数据清理备份策略 29 5.3 文件传输服务 29 5.3.1 任务配置 29 5.3.2 发起方式 32 5.3.3 监控方式 32 6 ETL服务 35 6.1 ETL系统概述 35 6.2 ETL系统目标 35 6.3 ETL系统设计原则 35 6.4 ETL系统结构图 36 6.5 ETL调度设计 37 6.5.1 ETL调度流程 37 6.5.2 ETL数据流程 38 6.6 ETL任务设计 40 6.6.1 ETL任务分类 40 6.6.2 ETL子系统划分 49 6.6.3 ETL任务开发规范 51 6.7 ETL系统环境 67 6.7.1 ETL相关库结构设计 67 6.7.2 ETL目录结构设计 68 7 统一调度平台设计 71 7.1 华兴数据仓库EDW应用系统调度 71 7.2 可支持任务调度方式 71 7.2.1 时间自动触发 71 7.2.2 文件到达判断 72 7.2.3 数据前后一致判断 72 7.2.4 接口装载实现 72 7.3 调度作业的配置 73 7.3.1 调度总控作业 73