数据分析基本统计与处理模板.docVIP

数据分析基本统计与处理模板

一、典型应用场景

本模板适用于需要通过数据统计与处理提炼核心信息、支撑决策的业务场景，包括但不限于：

企业运营分析：如销售业绩月度统计、用户增长趋势分析、产品销量区域分布等；

市场研究：如消费者行为偏好调研、竞品价格对比分析、品牌满意度评估等；

质量监控：如制造业产品缺陷率统计、服务业客户投诉类型汇总、电商物流时效分析等；

风险控制：如金融信贷违约率初步筛查、供应链异常订单识别、企业财务指标波动监控等。

通过系统化的统计与处理，可快速掌握数据特征，定位问题或机会点，为后续深度分析（如预测建模、归因分析）奠定基础。

二、详细操作流程

（一）数据准备与导入

明确分析目标：根据业务需求确定统计维度（如时间、地区、用户群体）和核心指标（如总量、均值、占比）。

示例：分析“2023年Q3各区域销售额”，需明确统计周期（2023年7-9月）、区域维度（华东、华南等）、核心指标（销售额、同比增速）。

收集与整理原始数据：保证数据来源可靠（如业务系统导出、公开数据库、调研问卷），统一数据格式（如日期格式统一为“YYYY-MM-DD”，文本字段无多余空格）。

注意：若数据来自多个源头，需核对字段定义一致性（如“用户ID”在不同系统中是否指同一标识）。

数据导入工具：根据数据量和分析需求选择工具（Excel/SPSS/Python/R等），导入数据并检查完整性。

Excel操作：通过“数据”-“从文本/CSV”导入，勾选“数据首行包含标题”，预览确认无乱码；

Python操作：使用pandas.read_csv()或pandas.read_excel()，通过df.info()查看数据概览。

（二）数据清洗与预处理

处理缺失值：

识别缺失：筛选包含空值的行/列（Excel：“筛选”-“空白”；Python：df.isnull().sum()）。

处理策略：

缺失率＜5%：直接删除（Excel：筛选空白行删除；Python：df.dropna()）；

缺失率5%-30%：根据业务填充（如数值型用均值/中位数填充，Excel：“开始”-“查找和选择”-“定位条件”-“空值”后输入公式=AVERAGE($A$1:$A$100)回车；Python：df[列名].fillna(df[列名].median(),inplace=True)）；

缺失率＞30%：考虑删除该列或标记为“未知”类别。

处理异常值：

识别方法：

箱线图法：Excel插入“箱线图”，观察异常点（超出上下限）；Python：df.boxplot()或df.describe()查看最大/最小值是否合理；

业务规则法：如“年龄=200”明显异常，“订单金额=0”需判断是否为有效数据（如取消订单）。

处理策略：

修正：若为录入错误，修正为合理值（如“年龄200”改为“20”）；

删除：若异常值比例极低且无业务意义，直接删除（Python：df=df[df[列名]上限]）；

保留：若为极端但合理值（如高价值订单），标记为“异常”并单独分析。

数据格式转换：

日期型：保证Excel中“设置单元格格式”为“日期”，Python用pd.to_datetime()转换；

文本型：统一大小写（如“男/女”统一为“男”/“女”）、去除特殊字符（如“￥”替换为空）；

分类变量：将文本转为数值（如“地区：华东=1、华南=2”），Python用df[列名]=df[列名].astype(category)。

（三）描述性统计分析

通过统计指标和图表，直观展示数据集中趋势、离散程度和分布形态。

集中趋势分析：

均值：适用于数值型数据，反映平均水平（Excel：AVERAGE()函数；Python：df[列名].mean()）；

中位数：适用于偏态分布或含异常值数据，避免极端值影响（Excel：MEDIAN()；Python：df[列名].median()）；

众数：适用于分类数据，反映高频类别（Excel：MODE.MULT()；Python：df[列名].mode()）。

离散程度分析：

标准差：反映数据波动性，值越大数据越分散（Excel：STDEV.S()；Python：df[列名].std()）；

四分位数间距（IQR）：Q3-Q1，衡量中间50%数据离散程度（Excel：QUARTILE.EXC()计算Q1和Q3）；

极差：最大值-最小值，易受异常值影响，需结合其他指标。

分布形态分析：

偏度：衡量数据对称性，偏度=0为对称分布，0为右偏（长尾在右），0为左偏（Python：df[列名].skew()）；

峰度：衡量数据陡峭程度，峰度=3为正态分布，3为尖峰，3为平峰（Python：df[列名].kurtosis()）。

可视化呈现：

数值型数据：直方图（观察分布）、