广西移动深度运营平台数据建模设计文档.docVIP

广西移动 深度运营平台Project 数据建模设计文档 Current Version: 1.0 Owner: Date Last Updated: 2007-12-20 Last Updated By: Author: LI Bo Yuan Date Created: 2007-12-20 Approved By: Approval Date: Revision History Version Number Date Updated Revision Author Brief Description of Changes 1.0 2007-12-20 Li Bo Yuan Create Revision Table of Contents 1 数据建模设计介绍 4 1.1 数据建模设计原则 4 1.1.1 ODS数据的主要功能模块 5 1.1.2 ODS数据模型设计原则 6 1.1.3 ODS数据模型设计步骤 6 1.2 数据建模命名规范 7 1.3 简写、缩写规则和简写列表样例 8 1.4 简写列表样例 8 2 ODS模型说明 10 2.1 ODS数据模型 10 2.2 ODS Subject Area说明 10 2.3 ODS 数据库表的说明 11 2.4 ODS 数据传输周期 22 2.5 ODS 唯一索引与索引分布情况 24 数据建模设计介绍 在数据仓库/商业智能的项目中，主要涉及的任务和它们之间的关系如下图所示。数据建模在其中比较重要，是数据映射、以及以后的ETL和前端的开发工作的基础。在这一章就对广西移动深度运营项目中的数据建模设计做一个介绍。 数据建模设计原则 本项目的系统架构如下图所示，需要本项目数据建模的模块是ods和Data Mart。 数据模型的设计是一个迭代、调优的过程，是平衡业务需求、已有的数据、系统的性能等因素的过程。这个过程中采用的一些设计原则，是接下来开展各期项目的一个参考。 ODS数据的主要功能模块 ods的数据有不同的功能，因此分为不同的模块。在本期项目中，ods内部的数据，按照它们的功能可以分为如下的几块： ODS数据模型设计原则 ODS系统的特征，要求在设计数据模型时，要坚持2个基本的出发点： 面向主题的、集成的、可变的、当前的细节数据集合。 用于支持企业对即时性、操作性、集成的全体信息的需求 ODS的数据特征，要求数据模型坚持如下的2个要点： 在业务系统与数据仓库系统之间形成一个隔离层 转移一部分业务系统细节查询功能 完成数据仓库中不能完成的一些功能 基于以上原则设计的ODS模型，从不同的角度来讲，也有一些缺点： 对于业务用户来说，这个模型与业务系统的模型差不多 查询的性能会因为多个join受影响. 保存周期时间短，不利于历史查询 ODS数据模型设计步骤 ODS数据模型的设计步骤，借鉴数据仓库之父 Bill Inmon的方法。根据广西移动的具体状况，具体的大步骤有2个。第一个步骤是建立业务实体之间的关系；第二步是根据ODS的特殊需求，进行调优的过程；具体如下： 建立描述基本业务关系的ER模型 根据本期项目范围的数据需要确定主题域. 在主题域中确定需要的实体. 确定实体之间的关系 增加属性. 确认模型的结构. 确认模型的内容. 基于基本的ER模型，根据ODS的特征，增强模型 分析需求 增加需要的数据 增加时间因素，确定数据传输周期 增加时间因素，确定数据保存周期 增加时间因素、确定数据增量全量传输 增加导出的数据 确定数据的粒度 系统性能需求 汇总数据 合并实体 如果对一个业务流程总体进行分析，将多个实体字段组合成一个实体 （如Order流程） 如果数据量太大，数据分区 （如partition） 数据建模命名规范 数据模型中的对象的命名规范，以SGM已有的规范为标准： 数据模型的对象命名采用英文，基于如下原则： 格式 : XX_NAME_YYY （如无必要，前缀、后缀可无） XX: 前缀 Name: 有意义的单词或简称 YY: 后缀 数据库表名称采用英文大写，多个单词之间使用下划线连接 字段名称采用英文小写，多个单词之间使用下划线连接 一些主要的前缀，列表如下： TM Master Data TABLE TT Transaction Data Table TR RELATIONSHIP TABLE TA AGGREGATION TABLE TC CODE LIST TABLE TI Interface Table TS System administration Table TL