金融行业数据部数据分析师数据清洗处理手册.docxVIP

金融行业数据部数据分析师数据清洗处理手册

第1章数据资产全生命周期管理规范

1.1数据分类分级标准与标识体系

数据分类是指根据数据的用途、敏感程度及价值，将数据划分为不同类别的过程。在金融行业中，我们将数据分为核心数据、重要数据和一般数据三个层级；核心数据包含客户隐私、交易流水等，重要数据涉及风控模型参数，一般数据为辅助分析报表。数据分级则是对同一类别内的数据按敏感程度进行细分，例如将核心数据中的“客户身份证号”定为最高级“绝密”，“账户余额”定为“机密”，而“历史交易明细”定为“内部公开”。

标识体系包含元数据标签、数据水印及访问令牌。例如在数据导出时，系统自动在文件末尾添加“仅供风控模型分析使用”的水印；在API接口调用时，为每个请求唯一的Token并记录在日志中。分类与分级需建立动态调整机制，当某类数据的新风险特征被识别（如某类信贷数据出现欺诈模式）时，应及时重新评估其分类等级，并更新相应的元数据标签。所有数据在入库前必须完成分类打标，系统应自动校验输入数据的属性字段，若发现非金融类字段（如个人消费偏好）被标记为交易数据，则触发异常预警并提示人工复核。

建立数据分类分级台账，记录每一笔数据的分类结果、分级等级、原始数据源及责任人，实行“一数一策”，确保数据资产目录的完整性和准确性。

1.2数据资产登记与元数据管理

数据资产登记要求对数据的全生命