数据仓库开发规范.docxVIP

数据仓库设计与开发规范 概述 数据仓库设计规范 命名规范 数据仓库库表的命名规范 命名规范 RAW表：RAW+源表名称 中间表：MID+源表名称 如果表名字符长度超过32位，则在源表名称中英文字母缩写替换英文单词 表字段命名规范 命名规范 数据库字段的命名必须遵循以下规范： 采用有意义的字段名。字段的名称必须是易于理解，能表达字段功能的英文单词或缩写英文单词，无论是完整英文单词还是缩写英文单词，单词首字母必须大写。 系统中属于是业务范围内的编号的字段，其代表一定的业务信息，这样的字段建议命名为： 代表当前这字段含意的英文单词 + “ID” 尽量遵守第三范式的标准（3NF）。 表内的每一个值只能被表达一次 表内的每一行都应当被唯一的标示 表内不应该存储依赖于其他键的非键信息 存储过程命名规范 命名规范 存贮过程的命名请遵循以下命名规范：P_ MID_+ 业务逻辑（英文单词或缩写） 如：P_MID_PUB_TRADE_BUY 设计规范 在存贮过程中必须说明以下内容： 名称：存贮过程。 描述：描述存储过程的作用 创建者：首次创建此存贮过程的人的姓名。在此请使用中文全名，不允许使用英文简称。 修改者、修改日期、修改原因：如果有人对此存贮过程进行了修改，则必须在此存贮过程的前面加注修改者姓名、修改日期及修改原因。 对存贮过程各参数及变量的中文注解。 示例如下： -- ============================================= -- procedurename: P_MID_PUB_TRADE_BUY -- description : 公募交易表 -- author : 张三 -- create date : 2015-07-17 --source_table : raw_tp_dis_trade_app_rec --target_table : MID_PUB_TRADE_BUY -- modified ：修改日期：2015-07-20 修改原因及内容 -- ============================================= 视图命名规范 命名规范 视图的命名请遵循以下命名规范：V_ +_操作的表名（不带前缀）或功能的英文单词或英文单词缩写。如：V_ac_cust_info 版本管理规范 数据仓库开发规范 Kettle规范 1 Trans命名规范 trans名称：以存储过程名称名称 Example:SP_ETL_MID_BANKCARD_VRFY_OK 2 Job命名规范 粒度最细的job Job注释 Job名称：项目名称+功能 Example:GMTJ_BANKCARD_FIRST_INFO 主Job Job名称：项目名称+功能+MAIN Example:GMTJ_DAILY_KAIHU_MAIN 注意：TRANS和JOB的命名英文字母统一大写 3 kettle资源库目录规范 Job存储位置：/ETL_REPOS/JOB/数据库层级（mid/raw)/具体JOB trans存储位置：/ETL_REPOS/TRANS/数据库层级(mid/raw)/具体TRANS 4 192.168.220.220 kettle（非kettle集群） 监控与日志 DB中2张表： META_JOB_LOG META_TRANS_LOG 日志 在运行job时 /data/app/datax-etl/etl-repos/log/xxx.log 21 可以记录错误 邮件： 配置邮件，发给负责人可以监控job。 元数据管理规范 所有在本地导出的xml文件需上传到SVN目录中 XML文件命名规范：项目名称.xml Example:GMTJ.XML 目录： svn://192.168.220.100/usr/local/subversion-1.4.4/repos/CRM/trunk/bi/etl-repos 5 ETL开发流程 针对公募统计日报为例 测试环境（本地） TRANS： 目前标注部分功能技术实现还在研究中。 JOB：