软件行业数据部分析师数据清洗规范手册.docxVIP

软件行业数据部分析师数据清洗规范手册

第1章数据元管理与基础定义规范

1.1核心数据字典编制标准

核心数据字典必须严格遵循ISO/IEC27002及GB/T39766标准，明确界定“核心数据”的边界，仅包含对企业运营决策、风险控制及合规审计具有直接影响的字段，排除如用户注册偏好、临时日志记录等非核心衍生数据。字典定义需采用“业务-技术-业务”三级映射结构，业务层定义业务含义，技术层定义数据库Schema结构，业务层再次定义数据治理状态，确保同一数据在不同视角下的描述一致性。

字典条目必须包含唯一标识符（如UUID）、业务主键、数据归属域、数据粒度（行/列/表）、数据类型及数据范围，严禁出现歧义描述，所有字段定义需附带示例值（如age:18-65而非18岁至65岁”）。编制过程需引入领域专家（DomainExpert）与数据架构师联合评审机制，对每个字段的语义进行“三审三校”，重点排查同义词冲突（如“活跃用户”与“在线用户”）及边界模糊问题。字典版本管理必须建立严格的变更控制流程，任何字段的修订均需唯一版本号，并记录变更原因、影响范围及新旧对照表，确保字典在发布前已冻结，仅在受控版本迭代中更新。

字典文档需作为全公司数据资产的“宪法”，所有数据开发、清洗及报表的源头代码必须引用该字典ID，禁止使用未经验证的别名或临时命名进行数