上海浦东发展银行基于数据仓库的数据集市解决方案_v1.5.doc

上海浦东发展银行基于数据仓库的数据集市解决方案 文件状态： [ ] 草稿 [ ] 正在修改 [√] 正式发布 文件标识： SPDB-DATAMARKS 当前版本： V1.5 作 者： 完成日期： 2007-08-09 版 本 历 史 版本/状态 作者 参与者 起止日期 备注 1.0 2007-7-27 1.1 2007-08-02 1.2 2007-08-02 1.3 2007-08-06 1.4 2007-08-08 1.5 2007-08-09 目 录 1 系统综述 5 2 总体解决方案 5 2.1 基于数据仓库建立数据集市 5 2.2 系统逻辑框架 7 2.2.1 原业务系统逻辑框架 7 2.2.2 架设统一数据集市后的系统逻辑框架 8 2.3 数据集市模型概述 10 2.3.1 统一数据集市模型概述 10 2.3.2 ODS数据模型概述 11 2.4 系统数据流程 11 2.5 数据存储方案 12 2.6 数据仓库到ODS的ETL数据采集方案 12 2.7 ODS到数据集市转换方案 13 2.7.1 公用数据部分 13 2.7.2 应用特有数据部分 13 2.8 应用时间窗口的解决方案 13 2.9 后续应用对原应用的影响分析 14 2.10 外部接口方案 17 2.10.1 数据仓库接口 17 2.10.2 外部系统接口 17 2.11 实施方案 18 2.11.1 工作界限划分 18 2.11.2 实施方法 19 2.11.3 实施计划 24 2.12 系统软硬件建议 26 2.12.1 系统硬件 26 2.12.2 系统软件 27 3 系统建设目标 27  系统综述 上海浦东发展银行数据仓库的建设目前已经初具规模，随着相关数据逐步积累，数据仓库的资源已经完全可以满足各类分析系统的数据需求，按照浦发银行的技术架构，数据集市的建设已经迫在眉睫。 数据集市的建立可以解决各系统数据获取得问题，并在集市范围内得到最大程度的共享，数据集市可以根据各系统的数据需求，建设成一个高度整合的业务系统数据平台，经过整合后的数据便于应用的掘取、操作，发挥最大的效能。 数据集市的建立可以有效缓解数据仓库时间窗口的争用问题，加快各系统数据获取的速度。同时统一的数据集市可以有效解决信息不对称等多方面的问题，而且方便将来的统一管理，降低费用，提升效能、增进安全，使得行内系统整体架构更加合理化、科学化。 总体解决方案 基于数据仓库建立数据集市 随着反洗钱系统、运行内控系统、审计系统等项目的启动，各个系统的技术架构必然都统一规划为从数据仓库获取数据。 数据仓库的建设是以数据的整合、历史存储为主，数据本身无法直接满足各类应用的需求，并且过多的应用直接访问数据仓库的并发需求对数据仓库造成的负荷是很严重的，按照总体架构科学化、合理化以及本着行内应用架构统一规划的大原则，建设统一数据集市的要求变得非常迫切，整个建设范围总体上包括统一的ETL过程、统一的ODS模型和统一的数据集市模型，以满足外围应用系统数据的需求，规范化以及合理化应用的系统框架。 按照浦发银行技术架构，数据仓库的建设采用“自顶向下”的建设思路，即首先建设全行统一的数据仓库，在数据层面对全行数据进行整合，做到各类数据的完整、统一、准确、规范；再从业务层面，基于数据仓库建设各类应用的数据集市，满足应用的需求。 数据仓库的数据来源于各类业务系统及外部数据；数据集市的数据来源于数据仓库；各类应用的数据源来自数据集市。从数据的采集路径与环节看，路径清晰，环节简单，对原系统影响很小。数据集市的数据单一来源于数据仓库，系统的安全性比较高，并且避免了重复的数据整合与转换工作。 因此浦发银行数据集市的建立必须基于数据仓库完成。 系统逻辑框架 原业务系统逻辑框架 原业务系统都具有一个ODS数据库和DM数据集市，ODS用以装载从数据仓库采集的数据，保证数据完整后再导入DM中供系统分析和使用，ODS的作用是起到一个缓冲，当从数据仓库中采集的数据由于种种意想不到的原因出现部分数据不完整等情况时不会影响到当前应用系统的数据正确性，避免出现计算结果无法从业务上得到解释的情况发生。 存在的问题： 数据仓库窗口征用，各业务系统数据来源都来自数据仓库，且数据量大，将大量占用数据仓库留给业务系统抽取数据的时间窗口，并且各应用抽取数据中存在重复数据部分，若能将ODS进行整合，势必减少数据抽取总量，从而减少数据抽取总时间花费； 繁多的ETL工程，对于每个应用必须单独开发ETL工程取数，当应用不断增加，开发和维护ETL工程将变成不小的负担，如果能从设计上合理规划ETL过程达到各应用共用的目标，就可以减少ETL过程的数量； ODS数据冗余，各