大数据行业数据部分析师数据清洗处理手册.docxVIP

大数据行业数据部分析师数据清洗处理手册

第1章数据治理与元数据管理

1.1数据资产全景图谱构建

数据资产全景图谱是数据治理的“总地图”，旨在将分散的数据资源转化为可视化的资产，明确谁拥有、谁使用、数据流向何处以及数据价值如何。

需建立统一的数据资源分类标准，将业务数据划分为结构化数据（如ERP报表）、半结构化数据（如JSON日志）和非结构化数据（如PDF文档、图片），并依据数据在组织中的生命周期阶段（如采集、存储、计算、分发）进行拓扑划分。接着，利用数据仓库中的元数据记录（如表名、字段名、主键ID）与业务系统的数据字典进行映射，构建“业务实体-数据实体”的双向关联表，确保每个业务对象都能精准定位到其底层数据表。

在此基础上，绘制数据流转拓扑图，以数据仓库维度表（如星型图）为骨架，将各业务系统的数据源节点、ETL处理节点、数据仓库数据层节点及下游应用节点串联成网，直观展示数据的“家”与“路”。引入数据血缘分析工具，自动抓取并记录数据在从源系统到最终报表的全链路依赖关系，不仅记录直接依赖，还要追溯间接依赖，从而揭示数据变更对下游业务的影响范围。结合数据价值评估模型，为图谱中的每个节点赋予热度值（Hotness）和活跃度值（Activity），区分核心数据（如用户画像）、边缘数据（如临时日志）及废弃数据，动态调整图谱的显示权重和颜色。

定期“数