金融行业信息技术部数据分析师数据分析操作手册.docx

金融行业信息技术部数据分析师数据分析操作手册

第1章数据分析基础与工具使用

1.1数据清洗与预处理

数据清洗是数据分析的第一步，旨在识别并修正数据中的缺失值、异常值和重复记录，确保数据质量。例如，在分析某银行2023年信贷数据时，若发现“不良贷款”字段中有15条记录为null，需先通过逻辑判断标记为缺失，并依据历史均值或中位数填充，同时检查是否存在因系统故障导致的重复录入，利用Python的`dropna()`函数删除这些无效行。处理数值型数据的异常值时，不能直接使用简单的均值或中位数填充，而应结合业务背景判断。例如，某客户月消费金额突变为100万元（远超历史均