互联网行业数据部数据分析师数据清洗工作手册.docxVIP

互联网行业数据部数据分析师数据清洗工作手册

第1章数据治理与元数据管理

1.1数据资产全景图构建

定义数据资产全景图为本组织内所有结构化与非结构化数据的统一视图，需通过数据元（DataElement）和事实表（FactTable）两种核心载体进行建模，前者涵盖如“用户ID、“订单金额”等基础属性，后者记录如“2023年Q4销售额”等数值事实。建立数据字典（DataDictionary）作为全景图的字典层，明确每个字段的来源系统、更新频率、存储格式及业务含义，例如将“订单ID定义为由ERP系统的唯一16位长整型字符，并指定其更新策略为“每日T+1同步”。

绘制数据血缘树（DataLineageTree）以展示数据从源头到最终报表的流动路径，需使用Mermaid等工具可视化展示，例如从“原始日志文件”经过“日志解析器”“结构化日志”，再进入“数据仓库”形成“用户行为分析表”，最终输出“用户留存率”指标。实施数据分类分级策略，依据数据敏感度和商业价值将资产划分为内部公开、内部机密、外部公开及敏感个人隐私四类，例如将包含身份证号、银行卡号的数据自动标记为“敏感个人隐私”，并触发脱敏处理流程。配置自动化的数据资产注册引擎，通过API网关监听各业务系统数据变更事件，当“库存表”发生增量更新时，自动触发任务将新数据写入资产库，并实时更新资