数据分析师数据清洗与处理操作指南.docVIP

数据分析师必备数据清洗与处理操作指南

一、常见应用场景

数据清洗与处理是数据分析工作的前置核心环节，直接关系到分析结果的准确性和可信度。在实际业务中，以下场景尤为常见，需通过系统化清洗与处理提升数据质量：

多源数据整合分析：需合并来自数据库（如MySQL、Oracle）、API接口、Excel/CSV文件、日志文件等不同来源的数据，因数据格式、字段定义、编码规则差异，导致数据无法直接关联或分析。

原始数据质量参差不齐：采集的数据存在缺失值（如用户未填写年龄字段）、异常值（如订单金额为负数或远超正常范围）、重复值（如同一订单被多次录入）、格式错误（如日期字段显示为“2023-13-01”或“01/01/2023”）等问题。

业务需求对数据格式有特定要求：构建分析模型（如机器学习分类模型）时，需将文本类变量（如性别“男/女”）转换为数值编码（如0/1）；或需统一日期格式（如“YYYY-MM-DD”）、数值精度（如保留两位小数）。

历史数据迁移与维护：因系统升级或业务变更，需对历史数据进行格式标准化（如将旧版“地区”字段“北京市/上海市”统一为新版“北京/上海”），保证数据一致性。

二、数据清洗与处理全流程操作步骤

步骤1：数据导入与初步观察

目标：将原始数据导入分析工具，初步掌握数据规模、结构及基本特征，识别明显问题。

操作说明：

工具选择：根据数据量和分析需求选择工具（小量数据可用Excel，中大量数据推荐Python的pandas库、SQL）。

数据导入：

Excel/CSV文件：使用pandas的pd.read_excel()或pd.read_csv()（注意编码格式，如encoding=utf-8或gbk）；

数据库：通过SQL查询直接导入（如SELECT*FROMtable_name）；

API接口：调用接口获取数据（如Python的requests库），并转换为DataFrame格式。

初步观察：

查看数据维度：df.shape（返回行数×列数），确认数据规模是否符合预期；

查看前5行/后5行：df.head()/df.tail()，观察字段值分布及明显异常（如空值、乱码）；

查看数据类型：df.dtypes，检查字段类型是否正确（如日期字段应为datetime，数值字段应为int/float）；

查看基本信息统计：df.describe()（仅数值列），观察最小值、最大值、均值、四分位数等，初步判断异常值（如年龄最大值为200岁）。

步骤2：缺失值处理

目标：识别并处理数据中的缺失值（空值、NaN、None等），避免因缺失导致分析偏差。

操作说明：

缺失值识别：

统计各列缺失值数量：df.isnull().sum()；

计算缺失值比例：df.isnull().sum()/len(df)*100%，重点关注缺失比例超过5%的字段。

缺失值处理策略（根据业务场景和数据分布选择）：

删除：当缺失比例极低（如＜1%）或缺失无业务意义时，删除行/列：

删除含缺失值的行：df.dropna(subset=[列名],inplace=True)；

删除全为缺失值的列：df.dropna(axis=1,how=all,inplace=True)。

填充：当缺失比例适中或缺失可合理推断时，用统计值或业务规则填充：

数值列：用均值/中位数/众数填充（如df[列名].fillna(df[列名].median(),inplace=True)）；

文本/分类列：用众数或特定值（如“未知”）填充（如df[列名].fillna(未知,inplace=True)）；

日期列：用日期众数或业务默认日期填充。

插补：当缺失数据与其他字段相关时，用模型预测填充（如用回归模型预测缺失的“收入”列，基于“年龄”“职业”等字段）。

处理验证：处理后再次检查df.isnull().sum()，保证无遗漏。

步骤3：异常值处理

目标：识别并处理异常值（偏离正常范围的数据），避免极端值对分析结果（如均值、回归系数）造成干扰。

操作说明：

异常值识别方法：

业务规则法：根据业务逻辑定义正常范围（如订单金额≥0，年龄0-120岁），超出范围的即为异常值；

统计法：

箱线图法（IQR规则）：计算四分位数Q1（25%分位数）、Q3（75%分位数），IQR=Q3-Q1，异常值判定标准为＜Q1-1.5IQR或＞Q3+1.5IQR；

Z-score法：计算Z-score=(x-μ)/σ（μ为均值，σ为标准差），|Z-score|＞3视为异常值（适用于正态分布数据）。

异常值处理策略：

删除：当异常值为录入错误（如年龄为200岁）且数量极少时，直接删除：df=df[(df[列名]≥下限)(df[列名]≤上限)]；

替换：当异常值为真实极端值（如