商业银行企业级数据仓库系统架构设计书.docVIP

商业银行企业数据仓库系统 高层架构设计 PAGE 商业银行 企业数据仓库系统 系统架构设计书  文档变更历史: 版本 修订日期 修订者 变更摘要 分发: 本文档已经被分发到： 名称 部门 职位 目录 TOC \o 1-6 \h \z 1 概述 1 1.1 背景 1 1.2 目的 1 1.3 适用对象 2 1.4 范围 2 1.5 叁考文档 2 2 概念性体系构架 3 2.1 数据源 3 2.2 数据仓库 3 2.3 分析 3 2.4 交互参考功能 3 3 参考体系架构 4 4 技术体系架构 5 4.1 源数据和数据接口 6 4.1.1 数据源 6 4.1.1.1 数据源范围 7 4.1.2 文件缓冲区 7 4.1.3 接口文件区 7 4.2 数据架构和存储 10 4.2.1 接口文件区 10 4.2.2 数据仓库 10 4.2.2.1 细节数据暂存区SSA（SOR Staging Area） 10 4.2.2.2 细节数据SOR（System Of Record） 11 4.2.2.3 汇总数据区Summary 12 4.2.2.4 反馈数据区（Feedback Area） 12 4.2.2.5 元数据存储MDR（Meta Data Repository） 13 4.2.3 数据集市和多维立方体 14 4.2.3.1 多维数据存储 14 4.2.3.2 OLAP和多维立方体 15 4.2.4 数据仓库应用 17 4.2.5 实现中的一些特别因素 18 4.2.5.1 参照表 18 4.2.5.2 MQT的应用 18 4.2.5.3 表和列的命名规则 20 4.2.5.4 代理键的使用 21 4.2.5.5 历史数据的处理 21 4.3 ETL处理架构 22 4.3.1 ETL调度 23 4.3.2 ETL监控 24 4.3.3 数据质量控制 24 4.3.4 ETL任务 25 4.3.4.1 ETL0－数据抽取 25 4.3.4.2 ETL1－处理接口文件 25 4.3.4.3 ETL2－生成SOR 25 4.3.4.4 ETL3－数据汇总 28 4.3.4.5 ETL4－生成数据集市 28 4.3.4.6 ETL5－计算KPI 28 4.3.5 ETL规范 28 4.3.5.1 SQL规范 28 4.3.5.2 可重运行 29 4.3.5.3 DB2 RUNSTATS 29 4.3.5.4 ETL工作流程 30 4.4 应用架构 31 4.4.1 访问途径 31 4.4.1.1 网络浏览器 31 4.4.2 展示内容 31 4.4.2.1 BST分析主题 31 4.4.2.2 1104报表 31 4.4.2.3 绩效考核 31 4.4.2.4 输出服务 31 4.5 软硬件架构 32 4.6 系统管理 33 4.6.1 备份恢复 33 4.6.1.1 数据仓库的备份恢复 33 4.6.1.2 接口文件的备份恢复 35 4.6.1.3 开发环境的备份恢复 35 4.6.2 配置管理 35 4.6.3 安全与保密 36 4.6.3.1 数据安全 36 Page PAGE 2 of NUMPAGES 41 概述 背景 企业数据仓库系统是以业务支撑应用系统的数据以及其他相关数据作为基础数据源，采用科学的数据抽取、整理、存储等方法，建立企业级数据仓库；然后通过丰富的数据分析和挖掘方法找出这些数据内部蕴藏的大量有用信息，对客户、业务、市场、收益、服务、等各方面情况进行科学的分析，从而为市场决策管理者和市场经营工作提供及时、准确、科学的辅助决策依据。 目前行内已经有许多业务支撑应用系统，但是各个系统相对独立，信息共享困难，无法从整个企业和单一视图的角度对数据进行深入分析和挖掘，无法为高层管理和决策提供强有力的依据，无法满足快速变化的市场的需求。为了能准确把握市场运行规律和客户需求，以便在激烈竞争中做出正确及时的决策，本工程将建设银行企业数据仓库系统。 本工程的建设目的使*银行更加充分利用业务支撑应用系统产生的大量宝贵信息资源，对生产经营和业务发展趋势做出科学合理的预测，从而帮助**银行及时掌握市场动态，准确地把握市场脉搏，及时制定高效合理的营销策略，更好地适应日趋