EDW_(DM数据仓库数据建模)模型设计汇编.pptxVIP

BI.Insurance i.DWM for PC 模型设计说明 日程 为什么需要模型 模型的组织结构 模型实施方法 模型设计策略 Q A | 日程 为什么需要模型 模型的组织结构 模型实施方法 模型设计策略 Q A | EDW体系架构 源系统层 ETL层 数据仓库层 ETL层 数据集市层 应用层 展现层 手工数据 外部数据 数据仓库 保险数据模型 核心业务 财务系统 再保险系统 人意险系统 精算系统 客户关系 管理OCRM 客户讯息 ECIF 业务量分析 数据集市 业务持续性 分析数据集市 ALM 数据集市 财务分析 数据集市 车险承保分析 通用承保分析 风险管理 应用 ALM应用 财务分析 应用 aCRM 数据集市 aCRM 报告 大客户分析管理系统 aCRM 引擎 数据挖 掘引擎 数据挖 掘应用 企 业 信 息 门 户 企业统一分析平台 元数据库 监管报表 管理报表 运营报表 仪表盘 随机查询 多维分析 “数据和信息集成平台” “统一的分析平台” “唯一的信息出口” 为什么需要企业模型？ EDW 数据模型在项目实施中的作用 DWM 数据仓库模型 BAM 业务分析模型 运营型业务系统 数据仓库 数据集市 报表 分析型应用 BSA 业务模版应用 日程 为什么需要模型 模型的组织结构 模型实施方法 模型设计策略 Q A | 模型总体结构－EM DataMarts 核心原子数据 事实表和维度 企业模型 营销管理快速入门 客户细分和管理 保险盈利性分析 潜在客户管理 数据集市 导出 业务数据模型 映射 指标要素 需求模型 财务报表数据集市 中介绩效分析数据集市 健康险盈利性管理数据集市 DWM 数据模型逻辑结构 BI.Insurance i.DWM for PC 底层数据模型主题域说明： Agreement：保单、批单申请及管理； Claim：理赔 Financial Transaction：应收应付、实收实付以及交易关联 Party：当事方，包括当事方的组织结构、角色结构及类型 Money Provision：资金管理 Specification And Product：规范及产品管理 Place：地点 Code：标准代码 Activity：活动管理 Physical Object：实物、标的管理 BI.Insurance i.DWM-Agreement BI.Insurance i.DWM-Claim BI.Insurance i.DWM-Physical Object 日程 为什么需要模型 模型的组织结构 模型实施方法 模型设计策略 Q A | 步骤： 流程： 产出： 原则： 需求文档： 1.报表需求 2.功能需求 3. 非功能需求 1.目前的报表 2.想做的报表 3.想做的功能 1.数据筛选清单 2.数据源报告： 3.数据质量分析报告 4.代码清单 Mapping文档： 源-模型对应关系 A筛选： 去掉ETL需要而模型不需要的字段 1.逻辑模型 2.物理模型 3 逻辑物理数据元素对照表 设计文档： 1.Mapping流程图 2.数据元素Mapping文档 A：数据源报告： 1.主要功能 2.历史数据情况 3.与其它系统关系 4.联系人 B：数据质量报告： 1.数据类型 2.值分布 3.关联情况 B映射： 1.映射到EM 2.结合性能考虑 3.结合实现考虑 数据筛选： 1.程序控制,计算,通讯,安全控制配置,日志 2.汇总类结果一般不要 3.可以由其它字段算出的字段一般不要 4.从其它系统导入的数据不要. 5.代码表不要。 6.单纯的险种定义信息不要，但是具体保单中涉及的险种定义信息可以要。 1.多维模型设计文档： 维度 指标 派生指标 2.需求-模型映射文档 3.报表样张 4.操作说明 EDW具体实施流程 日程 为什么需要模型 模型的组织结构 模型实施方法 模型设计策略 Q A | Hash code 问题的提出: 进行增量加载时无法快速判断对表的原有记录是否新插入。例如： 1. 理赔案件发生的时候,增量文件会把保单数据也传来 2. 保单增量过来,可能只是投保人的信息改了,而目标保单表所需信息并没有改变 解决方案： 使用增量的比较字段生成 Hash code。在对表进行增量加载时，对增量文件中的每一条记录生成 Hash code 将生成完的 Hash code 与原表中同一anchor id并且最新的记录的 Hash code 进行比较 如果一致的话，即不动作；如果不一致的话，即新插入。 使用示例： 在 individual agreement 表中使用各个需要保留历史信息的字段生成 hash code。 在增量加载时，