物流数据仓库模型设计方法及规范V.pptVIP

******物流数据仓库数据模型设计方法及规范物流数据仓库模型设计方法及规范模型概述建模方法建模规范议题物流EDW模型总体架构TIStagingTOODSTWDWTADM/Report物流EDW分为四层：TI/Staging层作业为数据源数据的接口层；表结构和数据源一致，如需要增加识别数据源的字段；TO/ODS层作为数据源数据的整合存储层，会保存一定时间段的历史数据；可支持基本的业务报表；表结构和TI层一致，如需增加识别历史的字段；TW/DW层作为数据仓库的模型层，采用星型模型设计，维表采用逆规范化设计，维表主键为整数序列，事实表的编码转换为维表的主键，事实表需要尽量简化，不允许保存描述信息；TA/DM/Report主要是汇总事实表和保存为报表需要的计算结果，尽量为汇总级别的星型模型，允许在某些情况将指标和描述信息保存在同一表中。模型概述建模方法建模规范议题建模过程分为5个阶段：建模过程建模过程分为5个阶段：1.需求及数据源分析需求分析主要了解业务的流程，业务过程产生的单据，以及单据间的关系，业务过程中涉及的人、物、组织和事；数据源分析需要了解单据和业务中所涉及的人、物、组织等的主数据表，人物事之间的关系表；了解以及这些表中包含的主要信息，还有这些表的数据量。2.HighLevel模型设计将需求分析阶段的所得到实体按照数据仓库总线矩阵进行整理；包含哪些分析主题，每个主题有哪些事实表，有哪些主数据，这些主数据可以归纳成哪些维表。每个分析主题或事实表与哪些维度有关。建模过程建模过程分为5个阶段：3.DW层模型设计DW层设计采用数据驱动和业务驱动结合的方法，首先通过数据驱动的方法识别维表的主要属性，如果需要在通过业务驱动的方法增加业务需要的属性或者层级；先设计维表，在设计事实表，事实表可以直接引用维表ID字段，事实表需要保存最低粒度的交易事实。维表设计需要考虑维表的数据量，对于大规模维度需要特殊处理:一种方法是将常用的上面几层单独新建一个维度另一种方法是将维表的数据按照使用情况，将最近一个阶段用到的记录单独抽出来最为一个维表，这种情况需要保证，两个表的ID一致，事实表只有一个字段连接全表和最近使用的表。定义事实表时，需要将业务系统单据的属性做简化，如果事实表包含同一维表的多个层级，只保留最低的层级，单据中的多个类型、状态、FLAG字段需要通过杂项维来简化，减少事实表字段；对于必要的相关单据号，如订单号，直接保留在事实表中，作为退化维处理，不需要要为退化维建维表。建模过程建模过程分为5个阶段：4.DM/报表层模型设计DM设计采用需求驱动的方法，需求驱动方法步骤：调查报表需求,报表需求需要落实到具体需要分析哪些指标，需要从哪些维度来看，需要哪些查询条件；整理报表需求中的指标和维度，维度整理需要了解维度有哪些层次，每个层次有哪些关键属性，指标的整理需要了解指标的计算公式，并将指标的计算项落实到，DW层的基础度量，还需要了解指标的分析的最细粒度，就要分析到哪些维度的哪些层级，参考仓库模型设计文档《仓库维度指标.xlsx》；整理维度指标矩阵，参考仓库模型设计文档《仓库维度指标.xlsx》；根据维度指标矩阵整理需要的汇总事实表，可将相同的主题的相同粒度的指标放到一个汇总事实表。01020304建模过程分为5个阶段：物理模型设计物流数据仓库采用Hadoop/Hive/Impala的技术架构。请打大数据开发Team补充这部分内容。建模过程******