ETL技术标准规范设计(通用).docVIP

| ETL技术规范 ETL设计规范 ETL设计规范主要应用于ETL编码的前期工作。由于ETL全过程是面向数据的，主要工作为数据的抽取（Extract）、转换（Transform）、装载（Loading），正确界定所涉及到的数据范围和应当应用的转换逻辑对于后续的编码工作非常重要，这些数据关系的确定，我们称之为Mapping（数据映射）。 正确定义数据映射关系是ETL成功实施的前提，一个完善的Mapping应该包含以下几个部分： 源数据集属性 此部分应该详细描述数据源的相关属性，包括： 实体名称——含数据来源名称（DSN）、所有者等信息； 字段名称——英文名称； 字段简述——中文名称，如为参数信息应该有相关取值解释，如性别字段（1：男；2：女；0：不详） 类型——字段类型，含长度和精度信息； 非空属性——字段是否可以为空； 目标数据集属性 此部分应该详细描述目标数据集的相关属性，包括： 实体名称——含数据来源名称（DSN）、所有者等信息； 字段名称——英文名称，建议根据字段含义来命名，而不是简单用拼音来定义字段（此部分由负责设计数据集的人员控制）； 字段简述——中文名称，对于保留字段应该给出默认值； 类型——字段类型，含长度和精度信息； 非空属性——字段是否可以为空； ETL规则 主要描述ETL各个环节的转换规则，包括： 数据源过滤规则——描述从源数据集获取数据过程中过滤掉记录的