数据分析基础数据处理与清洗模板.docVIP

数据分析基础数据处理与清洗模板

一、模板适用场景与价值

在数据分析项目中，原始数据往往存在格式混乱、缺失值、异常值、重复记录等问题，直接影响分析结果的准确性和可靠性。本模板适用于以下场景：

多源数据整合：当需要合并来自不同系统（如业务数据库、用户行为日志、第三方API）的数据时，统一字段格式和标准；

结构化数据预处理：针对Excel、CSV、数据库表等结构化数据，进行基础清洗以符合分析需求；

分析前质量提升：在构建统计模型、可视化报表或机器学习训练前，保证数据质量，降低噪声干扰。

通过系统化应用本模板，可高效完成80%以上的基础数据处理工作，减少重复操作，提升分析效率，同时保证数据处理的规范性和可追溯性。

二、数据处理与清洗实操步骤详解

步骤1：数据导入与初步检查

操作目标：加载原始数据，掌握数据基本情况，识别明显问题。

工具支持：Excel（导入/查看）、Python（pandas库）、SQL（数据库查询）。

具体操作：

数据导入

Excel：通过“数据”选项卡→“从表格/区域”导入，选择原始数据sheet，勾选“数据首行包含标题”；

Python：使用pd.read_csv(文件路径)或pd.read_excel(文件路径)，若编码异常可添加encoding=utf-8或encoding=gbk参数；

数据库：通过SQL查询语句SELECT*FROM表名WHERE条件提取数据，导出为CSV/Excel后处理。

数据概览

查看数据维度：通过df.shape（Python）或Excel状态栏获取“行数×列数”，确认数据完整性；

检查字段信息：使用df.info()（Python）或Excel“数据透视表”查看各列数据类型（数值/日期/文本）及非空数量；

浏览样本数据：通过df.head(10)和df.tail(10）查看前10行和后10行数据，观察是否存在明显异常（如空值、乱码、格式不一致）。

示例说明：

若导入用户行为数据时，发觉“注册时间”列显示为“41236”这样的数字，需判断为Excel日期序列值，需通过pd.to_datetime(1899-12-30)+pd.Timedelta(days=41236)转换为标准日期格式。

步骤2：缺失值处理

操作目标：识别并处理缺失数据，避免因空值导致分析中断或结果偏差。

具体操作：

识别缺失值

Python：df.isnull().sum()统计各列缺失值数量；df.isnull().mean()计算缺失值占比；

Excel：选中数据区域→“开始”选项卡→“条件格式”→“突出显示单元格规则”→“其他规则”→选择“单元格值”“等于”“#N/A”，标记缺失值。

分析缺失原因

区分“完全随机缺失”（MCAR，如设备随机故障）、“随机缺失”（MAR，如男性用户较少填写年龄）、“非随机缺失”（MNAR，如高收入用户隐匿收入），决定处理策略。

选择处理方法

删除：当缺失率＞30%或缺失数据无分析价值时，使用df.dropna(subset=[列名])（Python）或Excel“筛选”→“空白”→删除整行；

填充：

数值型列：用均值/中位数（中位数抗异常值干扰）填充，如df[列名].fillna(df[列名].median(),inplace=True)；

分类型列：用众数或“未知”类填充，如df[性别].fillna(未知,inplace=True)；

时间型列：用前后有效值的均值或固定时间（如“1900-01-01”）填充；

保留：在时间序列分析中，缺失值可能代表“未发生事件”，可保留并添加“是否缺失”标记列（如df[是否缺失年龄]=df[年龄].isnull().astype(int)）。

示例说明：

用户数据中“手机号”列缺失率2%，经排查为用户手动注册时跳过填写，属于MAR，可填充为“空”并添加“手机号缺失”标记，避免删除导致样本量减少。

步骤3：异常值处理

操作目标：识别并处理偏离数据正常分布的值，防止极端值扭曲统计结果（如均值、方差）。

具体操作：

定义异常值标准

业务逻辑法：根据业务规则判断，如“年龄＞120”或“订单金额＜0”为异常；

统计法：

3σ法则：数值超出(均值-3×标准差,均值+3×标准差)范围视为异常；

箱线图法则：超出[Q1-1.5×IQR,Q3+1.5×IQR]（IQR为四分位距）的值为异常值，Python中可通过df.describe()计算Q1（25%分位数）、Q3（75%分位数）。

处理异常值

删除：确认是录入错误（如“年龄200岁”）时，直接删除该行；

修正：若为录入笔误（如“订单金额10000”误写为“1000”），通过业务记录修正；

标记：保留异常值但添加标签（如“高消费用户”），避免直接删除丢失信息；

转换：对极端值进行