中国联通数据模型培训材料.pptxVIP

亚信科技2009年9月

令数据处理流程介绍

令关键指标统计口径

令主要维表编码说明

令数据模型介绍

2

.分层说明

.ETL说明

.整体介绍

3

4

直接支持不同应用

报表数据

本地报表数据

CUBE数据

集团报表数据

DM

DW

明细数据层(DWD)

客户域

产品域

帐务域

业务使用域

合作伙伴域

客服域

地域域

轻度汇总层(DWA)

汇总数据

中度汇总

STG

CRM1

炫铃平台

中央音乐 平台

WAP网关

。。。

衍生数据

客户视图

产品视图

渠道视图

合作伙伴视图

资源视图

……

不跨域的到USER_ID的轻度汇总，提高性能

数据集市

部门数据集市

财务类

服务类

不跨域的、不保留USER_ID的汇总，常用维度、指标支持

地市数据集市

指标数据

本地KPI指标集团KPI指标

指标库

形成统一客户、统一产品、统一渠道的360度视图，支持

明细级数据，EDM落地，关键统计口径下移

市场营销域

资源域

和生产系统一致

收入类

使用类

结算类

发展类

专题数据集市

Billing

客服

PRM

SETT

客服

帐务

业务使用

资源

结算

营销

OLAP数据

深层分析

数据源

数据库

Oracle

系统

√CRM(CRM1、CRM2)

√帐务

√计费

√结算

√PRM

√结算

6

STAGE层

作用

√提供业务系统数据文件的临时存储

√数据稽核、数据质量保证

√屏蔽对业务系统的干扰

√屏蔽数据源的差异

主题

√按照业务系统的数据模型组织

数据模型

√与业务系统一致

数据存储粒度

√存储详单、客户、帐务资料等细节数据的原始粒度

数据存储周期

√临时性

模型增加原则

√与生产系统表结构一致

√表名以STG_XXX，XXX重新进行命名

√数据类型转化(VARCHAR、DATE)

注意

√增量/全量方式

7

DWD层

作用

√提供BSS系统细节数据的长期沉淀

√为未来分析类需求的扩展提供历史数据支撑

√支撑轻度综合层数据生成

主题

√按EDM模型组织

数据模型

√3NF,与企业级数据模型一致

数据存储粒度

√存储详单、客户在、帐务资料等细节数据的原始粒度

数据存储周期

√长期保留，大于12个月

√详单类数据单独考虑

模型增加原则

√统一数据字典(表名、字段名、数据类型、域等)

√表名以DWD_XXX，XXX重新进行命名，代表明确的业务意义(特殊的DIM、CFG、MON等)

注意

√编码转换、单位统一、相同含义的字段名称统一

8

DW层

作用

√扩展BSS核心业务实体(个人客户、集团客户、订购实例、产品、渠道等)的衍生信息(行为、扩展属性)

√数据预处理，提高性能

√支撑专题分析和数据挖掘

√同CRM、Billing互动，形成闭环

主题

√按主题(实体)组织

数据模型

√反范式设计(宽表、冗余、派生、标志位前移)

数据存储粒度

√对客户、订购实例、渠道、产品等数据的轻度加工

数据存储周期

√长期保留

模型增加原则

√核心业务实体的把握

√表名以DW_实体名_XXX，XXX重新进行命名

注意

√

9

DM层

作用

√面向分析类应用(报表、OLAP、KPI、专题等)所构建的数据存储

√为主题分析提供数据

√为报表和指标体系提供数据支撑

√支持专题分析(注：根据专题所需数据粒度的不同，可以分别来自DW层和轻度综合层。)

主题

√按分析类应用主题组织

数据模型

√多维模型(维度、粒度选择)

数据存储粒度

√中度、高度汇总数据

数据存储周期

√视应用需求而定

模型增加原则

√需求归并、性能考虑、分表策略选择

√表名以DM_实体名_XXX，XXX重新进行命名。REP_XXX

注意

√需求梳理、归并和控制，性能考虑和分表策略选择

DM层说明

10

说明

①ETL：EXP

由相应的业务源系统将数据卸载成相应的文本文件，存放相应的临时

文件存储区。

文件格式和约定遵从双方约定的规则。

对于BILLING系统的二批话单，入库时将文件放在一个目录下，有经

营分析系统去取，然后加载至STAGE层，并调用后续的数据处理过程。

②ETL：FTP

有经营分析系统到业务系统制定的文件存储目录，将相应的文件FTP

至经营分析系统。

判定文件完成情况，有双方约定来确定。

可以设定是否进行文件合法性校验

③ETL：LOAD

将ETL转变为ELT，完成生产系统的数据加载至经营分析系统STAGE

层，为后续的数据处理做准备。

④ETL：TRANSFORM1

完成编码统一转换。

完成数据模型转换。

适度的数据冗余(打上