互联网数据分析与挖掘手册（执行版）.docxVIP

互联网数据分析与挖掘手册（执行版）

第1章数据治理与基础架构

1.1数据资产盘点与分类体系

启动阶段需利用自研或采购的自动化工具（如DataCatalog），以“全量扫描+抽样验证”的双重模式，对全网数据库、数据仓库及对象存储中的非结构化与结构化数据进行拉取，一份包含字段描述、来源系统、存储位置及数据量的资产清单。对于历史遗留系统，需手动编写SQL脚本进行离线抽样，重点识别“孤儿数据”（无业务含义的脏数据）和“重复数据”（同一行数据在多个系统中的冗余），确保盘点覆盖率不低于95%。依据业务价值与敏感程度构建三级分类体系：将数据划分为“核心运营数据”（如用户画像、交易流水）、“辅助分析数据”（如日志指标、营销素材）及“元数据数据”（如表结构、字典定义）。对于核心运营数据，需标注“高敏感”并强制实行“最小权限原则”；辅助数据可标记为“中敏感”；元数据则作为“低敏感”的基础设施数据，重点在于其结构的准确性与时效性。

建立“数据血缘”映射机制，针对每个核心表，通过ETL链路反向追踪其上游数据源（如源数据库、原始应用接口），并向前追踪下游消费对象（如报表系统、BI仪表盘）。若发现上游数据源变更导致下游报表逻辑失效，必须立即触发预警，并在血缘图谱中标记该节点为“风险节点”，防止数据链路断裂导致报表失真。实施“数据字典”标准化建设，统一全公司术语定义，消除“用