金融行业信息技术数据分析师数据清洗处理手册.docxVIP

金融行业信息技术数据分析师数据清洗处理手册

第1章数据基础与元数据管理

1.1数据资产盘点与目录构建

数据资产盘点需基于全量采集与分层扫描相结合的策略，首先利用ETL工具对核心业务系统（如CRM、ERP）进行全量抽取，识别出超过500个原始数据源，涵盖结构化数据库、非结构化文件及API接口；随后执行分层扫描，将数据按业务域划分为交易、运营、风控三个层级，并依据数据粒度（行/列/字段）建立唯一标识符（UUID），确保资产名称、类型、存储位置及更新时间等元数据字段完整记录，形成初步的《数据资产目录清单》。目录构建过程需引入元数据发现引擎，自动聚合各数据源的元数据描述，特别关注敏感字段（如身份证号、手机号）的脱敏策略与访问权限控制策略；在此基础上，构建可视化的动态目录树，支持按业务场景（如“客户管理”、“信贷审批”）或数据血缘路径进行钻取，确保目录结构既能反映数据物理分布，又能体现业务逻辑归属，为后续分析提供清晰的导航依据。

针对数据资产目录中存在的模糊命名问题（如2023年_订单_表”），需制定标准化的命名规范（如ORD_202310_001），强制要求数据字典自动补全业务含义、主键ID及业务口径说明；同时建立“数据字典-元数据”映射机制，确保在后续的数据建模与清洗阶段，系统能自动从目录中拉取字段级定义，减少人工查阅字典的误差。在盘点过程中，必须