对公数据集市项目培训材料.pptxVIP

对公数据集市介绍对公数据集市项目组2014年1月

目录对公集市架构介绍对公集市背景及目标030406补录与产品、报表重跑对公集市功能介绍0507对公集市下游介绍数据仓库概述01银行业务简介02

目录对公集市架构介绍对公集市背景及目标030406补录与产品、报表重跑对公集市功能介绍0507对公集市下游介绍数据仓库概述01银行业务简介02

数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合，用来支持管理人员的决策。数据仓库的四个特点：面向主题集成非易失随时间变化321456数据仓库概述

面向主题操作系统是面向事务处理的。事务处理关注的是整个事务操作流程，即操作系统是围绕事务操作流程来组织数据的。数据仓库是面向主题的。主题是管理人员分析问题的重点。面向主题就是所有的数据都是根据主题来组织的。即数据仓库的数据都是围绕分析的重点来进行组织数据的。面向主题操作系统数据仓库票据信用证贷款客户协议产品

集成集成是数据仓库最重要的特性。集成并不是简单的把数据聚合在一起，还要消除数据的不一致性。由于数据仓库是面向主题的，一个主题下可以包含多个源系统的数据，只有统一各个源系统不同的编码，才能在同一个主题下汇总、分析数据，从而消除不同系统间的信息孤岛问题。客户A：A1性别男：M机构O：O1客户A：A2性别男：0机构O：O2客户A：A3性别男：1机构O：O3客户A：A性别男：M机构O：O操作系统数据仓库…核心信贷国结MAPPING

非易失操作系统是实时、事务级的更新和小数据明细的查询。数据仓库是定期、批量更新和大数据汇总查询的。由于数据仓库一般并不会更新历史数据，所以数据仓库是非易失的。操作系统数据仓库载入访问修改增加删除查询

操作系统一般只会保留数据的最新记录。1数据仓库需要保留各个历史时点的数据，已便于对数据在时间维度上进行分析、挖掘。2操作系统3数据仓库4时间期限：近三个月5记录更新6日期戳可有可无7时间期限：5~10年8复杂的快照数据9时间维度10随时间变化

数据仓库的两种建设方式自顶向下：先建设数据仓库，再建设数据集市自底向上：先独立建设数据集市，在统一维度总线的基础上合成数据仓库核心信贷国结…数据仓库对公集市零售集市风险集市…核心信贷国结…数据仓库对公集市零售集市风险集市…自顶向下自底向上统一维度总线

一般银行业数据平台架构

数据架构中的关注点（五个维度）目标服务数据加载；直接提供基于源系统结构的简单原貌访问；长期的，细节的，整合的数据存储；为BI环境中的各类业务需求提供支持相对通用，具业务意义的初加工数据；作为上层应用数据加工的基础，或供业务人员直接访问；服务特定应用原则简单处理，不考虑整合；关注保留策略；面向全局，数据整合中性设计，灵活扩展提供规范和共享提炼应用需求共性多种数据粒度易于理解和使用面向具体应用按需设计形式偏源系统模型；少量数据保留短暂历史；部分数据保留全量面向主题设计；偏范式化；长期保留历史；初步数据加工；分层设计；形式各异，依具体应用不同；重点理解源结构主题定义框架设计整合策略实施方法应用筛选应用提炼整体性一致性用途业务原貌查询即时报表数据质量检查灵活查询整合规则检查常规报表灵活查询业务规则检查特定应用缓冲层基础层汇总层应用集市层

数据架构之EDW数据平台上报数据报表数据指标数据查询数据参数数据挖掘数据....信用卡网银基金代销核心信贷国结EDW数据缓冲层（FDM）核心信贷国结信用卡网银基金代销LDM汇总数据账户汇总交易汇总产品汇总渠道汇总客户汇总整合数据层（LDM）协议团体事件账务产品渠道供统一的业务口径避免集市的重复加工随着应用建设逐步完善业务统计口径变化，ETL会随之变化视情况保留较长历史为ETL方便设计的专用层，可加载增量或全量数据在此层完成数据同构化数据原样加载，保持与源结构一致一般按照业务系统进行命名识别可保留部分最近数据以供重新加载面向整合主题设计标准化数据3NF设计保留较长历史数据集市（DM）管理会计数据集市风险管理数据集市客户关系数据集市财务管理数据集市经营管理数据集市其他业务数据集市面向应用，按需定制可分为内部集市和外部集市可通过反范式提高响应性能可为汇总层提供扩充依据视情况保留较长历史

数据集市从前面一般银行数据仓库的架构可以看出，数据集市是数据仓库的一个子集，是为特定的分析应用而建设的。数据集市根据所处位置的不同分以下几类：数据仓库源系统....信用卡网银基金代销核心信贷国结数据缓冲层仓内物理集市仓外物理集市仓内逻辑集市整合数据层共性汇总层

目录对公集市架构介绍对公集市背景及目标030406补录与产品、报表重跑对公集市功能介绍0507对公集市下游介绍数据仓库概述01银行业务简介02

一般贷款：负债业务主要是银行对单位客户