数据仓库建设方案设计20130625_v2.0.pptVIP

功能框架 技术架构 数据架构 数据架构-ODS ODS在业务系统和数据仓库之间形成一个隔离层，转移一部分业务系统细节 查询的功能，完成数据仓库中不能完成的一些细粒度查询 ODS源数据层 数据内容和数据结构与源系统一致 存储短期历史数据，支持历史数据查询 支持增加数据和全量数据提供服务 集中存储所有源系统数据，隔离对源系统依赖 满足目标系统对高时效性和真实性的数据需求 ODS标准化数据层 数据结构与源系统一致 对源系统数据进行统一的标准化处理，包括数据定义和统计口径的一致性，避免各应用数据加工结构不一致 存储短期历史数据 支持增量数据提供服务 数据架构-数据仓库 数据架构-数据仓库 数据仓库基础层 前端应用服务应尽量避免直接访问基础层数据 保存时点全量和中长期历史数据 数据具有全面性、整合性和高可用性 主要以现有客管系统数据为基础，并按照NCR的FS-LDM模型进行数据整合 数据仓库语义层 建立多层次的数据访问服务体系，以满足不同类型应用的需要。可分为中间层与应用 层，中间层包含预处理层、汇总层与指标层 汇总层一般实现各时间段或时间点各层级机构所辖范 围内的卡片、账户、客户、渠 道、产品、客户经理、凭证等各类汇总级别的整合 预处理层按账户、卡、合同等业务实体计算出月度、 季度或年度的轻度汇总数据 指标层建立对账户、交易、资产余额等信息的多维分析数据集 ，从而建立 起能满 足全行业务发展、经营管理、战略决策、信息披露、外部监管与审计等各类行内外 需求的全行统一指标库,并且全行各类报表都应以本指标库为基础生成，以确保报表 数据的唯一性、权威性，并保证不同报表之间勾稽关系的一致性。 应用层针对不同业务领域或组织机构，建立逻辑或物理的数据集市，在保证数据安 全的同时，促进数据的使用 数据架构-数据集市 数据集市 固定集市 提供各类查询服务 提供OLAP多维分析服务 提供数据挖掘服务 提供数据实验室服务 提供各类报表查询服务 动态集市 报表集市 动态集市 数据架构-历史库 按照不同的归档周期和频率等参数设置，将ODS和数据仓库中的数据自动、及时归档为在线历史数据 按照在线历史数据的归档周期和频率等参数设置，自动、及时将部分在线历史数据归档到离线库，存储在低端存储设备上。并且在需要时可做数据恢复，将磁带库数据临时恢复为在线历史数据中进行查询。 在线历史库 离线库 数据分析平台访问结构 基础 整合数据 数据库 语义层 指定数据集 数据集市 指定 数据集 定期报告 BI 工具数据结构 Ad Hoc 视图/ 虚拟Cube 指定数据集 分析报告 Ad Hoc 数据挖掘 BI分析工具 基础视图 访问控制 共享区 访问控制 应用区 分析 数据集 应用视图/ Cube 安全视图 应用视图/ Cube 内容提要 建设背景和当前现状 系统建设目标 数据分析平台的定位 系统架构和功能设计 数据模型设计 数据模型设计 设计思路 以Teradata成熟模型产品NCR FS-LDM为蓝本，充分考虑到源业务系统各类 信息和资料的实际情况和当前现状，驱动模型客户化 驱动模型客户化的主要因素 在模型中记录一些模型产品中不包含的信息，需要对原模型产品进行扩展 模型产品中的某些信息无法从源系统获取或对某些信息对本系统没有用处 某些业务规则与模型产品假设的规则可能存在差异 客户化的主要工作内容 在模型产品的既有结构上新增实体和属性 删除模型的某些结构 对现有结构进行修改 数据模型设计 FS-LDM模型产品客户化的优点 FS-LDM模型总结了全球二百多家金融机构的实施经验，集成了国际商业银行科学的、 先进的管理经验，可以帮助贵行加快与国际商业银行接轨 FS-LDM具有很大的可扩展性和灵活性 描述了各类业务以及这些业务之间的关系，通过定义实体、实体的属性以及实体之间 的关系来描述具体的银行业务逻辑 是满足第三范式（3NF）的数据模型 FS-LDM对数据仓库的物理模型（PDM）设计具有指导作用，起点高，可以最大程 度缩短开发周期、从而降低风险、节约投资 客户化注意事项 考虑模型产品是否适合本系统 客户化的部分能否解决现有源业务系统的数据存放问题 客户化的部分要有预见性（如数据的扩展、历史的变更） 必须保持客户化部分与模型产品原有设计规范、设计风格等的一致性 逻辑视图 (第三层) 294多个逻辑视图 细节 (第三层) 2117 实体 8865 属性 主题区域 (第一层)