对公数据集市项目培训材料重点.pptxVIP

对公数据集市介绍对公数据集市项目组2014年1月目录对公集市架构介绍对公集市背景及目标补录与产品、报表重跑对公集市功能介绍对公集市下游介绍数据仓库概述银行业务简介目录对公集市架构介绍对公集市背景及目标补录与产品、报表重跑对公集市功能介绍对公集市下游介绍数据仓库概述银行业务简介数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合，用来支持管理人员的决策。数据仓库的四个特点：1）面向主题2）集成3）非易失4）随时间变化数据仓库概述操作系统是面向事务处理的。事务处理关注的是整个事务操作流程，即操作系统是围绕事务操作流程来组织数据的。数据仓库是面向主题的。主题是管理人员分析问题的重点。面向主题就是所有的数据都是根据主题来组织的。即数据仓库的数据都是围绕分析的重点来进行组织数据的。面向主题面向主题操作系统数据仓库票据信用证贷款客户协议产品集成是数据仓库最重要的特性。集成并不是简单的把数据聚合在一起，还要消除数据的不一致性。由于数据仓库是面向主题的，一个主题下可以包含多个源系统的数据，只有统一各个源系统不同的编码，才能在同一个主题下汇总、分析数据，从而消除不同系统间的信息孤岛问题。集成客户A：A1性别男：M机构O：O1客户A：A2性别男：0机构O：O2客户A：A3性别男：1机构O：O3客户A：A性别男：M机构O：O操作系统数据仓库…核心信贷国结MAPPING操作系统是实时、事务级的更新和小数据明细的查询。数据仓库是定期、批量更新和大数据汇总查询的。由于数据仓库一般并不会更新历史数据，所以数据仓库是非易失的。非易失操作系统数据仓库载入访问修改增加删除查询操作系统一般只会保留数据的最新记录。数据仓库需要保留各个历史时点的数据，已便于对数据在时间维度上进行分析、挖掘。随时间变化操作系统数据仓库时间期限：近三个月记录更新日期戳可有可无时间期限：5~10年复杂的快照数据时间维度自顶向下：先建设数据仓库，再建设数据集市自底向上：先独立建设数据集市，在统一维度总线的基础上合成数据仓库数据仓库的两种建设方式核心信贷国结…数据仓库对公集市零售集市风险集市…核心信贷国结…数据仓库对公集市零售集市风险集市…自顶向下自底向上统一维度总线一般银行业数据平台架构数据架构中的关注点（五个维度）目标服务数据加载；直接提供基于源系统结构的简单原貌访问；长期的，细节的，整合的数据存储；为BI环境中的各类业务需求提供支持相对通用，具业务意义的初加工数据；作为上层应用数据加工的基础，或供业务人员直接访问；服务特定应用原则简单处理，不考虑整合；关注保留策略；面向全局，数据整合中性设计，灵活扩展提供规范和共享提炼应用需求共性多种数据粒度易于理解和使用面向具体应用按需设计形式偏源系统模型；少量数据保留短暂历史；部分数据保留全量面向主题设计；偏范式化；长期保留历史；初步数据加工；分层设计；形式各异，依具体应用不同；重点理解源结构主题定义框架设计整合策略实施方法应用筛选应用提炼整体性一致性用途业务原貌查询即时报表数据质量检查灵活查询整合规则检查常规报表灵活查询业务规则检查特定应用缓冲层基础层汇总层应用集市层数据架构之EDW12数据平台EDW供统一的业务口径避免集市的重复加工随着应用建设逐步完善业务统计口径变化，ETL会随之变化视情况保留较长历史为ETL方便设计的专用层，可加载增量或全量数据在此层完成数据同构化数据原样加载，保持与源结构一致一般按照业务系统进行命名识别可保留部分最近数据以供重新加载面向整合主题设计标准化数据3NF设计保留较长历史面向应用，按需定制可分为内部集市和外部集市可通过反范式提高响应性能可为汇总层提供扩充依据视情况保留较长历史从前面一般银行数据仓库的架构可以看出，数据集市是数据仓库的一个子集，是为特定的分析应用而建设的。数据集市根据所处位置的不同分以下几类：数据集市数据仓库源系统....信用卡网银基金代销核心信贷国结数据缓冲层仓内物理集市仓外物理集市仓内逻辑集市整合数据层共性汇总层目录对公集市架构介绍对公集市背景及目标补录与产品、报表重跑对公集市功能介绍对公集市下游介绍数据仓库概述银行业务简介资产业务（客户立场）： 活期：单位活期存款是指，不规定存款期限，客户可以随时存取，并按活期存款利率按季计取利息的存款。 定期：单位定期存款是客户与我行事先约定存款期限，到期后支取本息的存款。 保证金：保证金是指客户或第三方为担保客户履行与我行签定的相关合同义务，出于设置担保目的而存入我行的，归客户或第三方所有但由我行占有的特定化的资金。负债业务（客户立场）： 一般贷款：负债业务主要是银行对单位客户提供资金融通的表内业务。一般贷款是指一般的资金融通业务，不包含保理和贴现。 保理：保理是一项综合性金融服务。在保理业务中，卖方将其现在或将来的基于其与买方订立的货物销售/服务