腾讯数据仓库规范体系.pdfVIP

腾讯数据仓库规范体系

一、数据仓库模型设计

1.1数据分层模型

1.2数据分层边界

1.3数据主题域（示例，供讨论）

主题域是面向业务分析，将业务分析过程进行高度概括及抽象，是在较高层次

上将企业信息系统中的数据综合、归类并进行分析利用的抽象。目前互联网缺

少相应标准模型的定义，可供参考讨论

用户主题域：描述各类参与人（个人、群、团体等）在腾讯各类业务场景

所处角色的各类信息，包括资料信息，身份信息，人口统计，费用，账户

信息及特殊信息等

行为主题域：描述各类参与人（个人、群、团体等）在腾讯各类业务场景

行为信息，包括ugc发表，评论，登录，下载，付费等行为主题

内容主题域：

产品主题域：

渠道主题域：

附录提供电信行业数据主题域模型设计

二、数据仓库规范定义

2.1表命名规则

总体命名规则

见名知意，做到统一标准，降低数据沟通成本及使用成本

2.1.1整体命名规范

[数据分层]_[BG]_[业务域]_[主题域]_[业务描述]_[刷新周期][存储策

略]

其中：

（1）数据分层：主要包括ods/dwd/dws/dwm/dim/app

（2）BG：WXG,PCG,IEG,CSIG,TEG,CDG

（3）业务域：主要为业务线，比如应用宝（简称yyb），信息安全(infosec)

等

（4）主题域：主要为业务线内的业务过程的抽象，例如用户(user)，广告

(ad)，游戏(game)等

（5）业务描述：简单的BG业务过程提炼

（6）刷新周期:主要包括小时(h)/天(d)/周(w)/月(m)/季度(q)/年(y)

（7）存储策略：增量(i)和全量(f)

平台校验规则，其中1,2,3,6,7强校验，4,5可由业务自行定义

2.2分层命名细则

2.2.1ods接入层命名规则

ods_[BG]_[业务域]_[业务描述]_[刷新周期][存储策略]

举例如下：

数据源表命名表注释

类型

表ods_pcg_yyb_user_info_df用户基础信息表、接入层、按天

全量

2.2.2dwd明细层命名规则

dwd_[BG]_[业务域]_[业务描述]_[刷新周期][存储策略]

举例如下：

表命名表注释

dwd_pcg_yyb_user_info_df用户基础信息表、明细层、按天全

量

dwd_pcg_yyb_click_log_di点击日志表、明细层、按天增量

dwd_wxg_game_gamecenter_click_di微信增值业务部，游戏中心点击

表，天级增量

dwd_teg_infosec_user_uin_info_df信息安全部-用户资料表-天全量

2.2.3dws汇总层命名规则

dws_[BG]_[业务域]_[业务描述]_[刷新周期][存储策略]

注意：主题域可以根据业务特性决定是否使用

其中，主题域为统一分配，举例如下：

表命名表注释

dws_pcg_yyb_user_dau_di用户日活相关汇总表、汇总

层、按天增量

dws_wxg_game_gamecenter_click_di微信-增值业务部-游戏中心点