原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
数据分析师数据清洗工作手册
前言
数据清洗是数据分析流程中的基础环节，其质量直接影响后续分析结果的准确性与可靠性。本手册旨在为数据分析师提供一套系统化、标准化的数据清洗操作指南，涵盖从数据理解到最终输出的全流程，帮助分析师高效解决常见数据质量问题，保证数据“可用、可信、可用”。手册适用于企业内部数据分析、市场研究、业务监控等场景，也可作为新人培训的参考工具。
一、适用场景与价值
1.1典型应用场景
原始数据质量问题处理：当数据源存在缺失值、异常值、重复值、格式不一致等问题时，通过清洗提升数据完整性；
多源数据整合：合并来自不同业务系统（如CRM、ERP、用户行为日志）的数据时，统一字段命名、格式及编码规则；
业务规则校验：根据业务逻辑筛选无效数据（如订单金额为负、用户年龄超出合理范围）；
分析模型预处理：为机器学习模型提供干净、规范的特征数据，避免因数据噪声导致模型偏差。
1.2核心价值
保障分析准确性：减少因数据错误导致的决策失误，如剔除虚假订单后准确计算销售额；
提升分析效率：通过标准化流程缩短数据准备时间，让分析师聚焦业务逻辑而非数据纠错；
规范数据资产：建立统一的数据质量标准，推动企业数据治理体系建设。
二、数据清洗全流程操作指南
2.1阶段一：数据理解与规划
目标：明确数据来源、业务需求及质量问题类型，制定清洗策略。
操作步骤：
需求沟通与目标确认
与业务方（如运营经理、产品经理*）确认分析目标，例如“分析用户留存率需保证用户ID唯一且注册时间准确”；
列出关键字段清单（如用户ID、注册时间、订单金额），明确各字段的业务含义及取值范围。
数据源摸索与概览
工具：Excel（数据透视表）、Python（pandas的info()、describe()）、SQL（COUNT、DISTINCT）；
操作：
检查数据总量（如总行数、字段数量）；
初步识别异常字段（如“年龄”列存在负值或200岁）；
统计缺失值比例（如“手机号”列缺失10%）。
制定清洗规则与优先级
根据业务重要性划分优先级：高优先级（如主键重复、关键指标缺失）、中优先级（如格式不一致）、低优先级（如非关键字段冗余）；
示例规则：“订单金额必须≥0，否则标记为异常并核查；用户注册日期需在系统上线时间之后”。
2.2阶段二：数据预处理
目标：解决缺失值、异常值、重复值等基础问题，修复数据一致性。
2.2.1缺失值处理
缺失场景
处理方法
操作示例
适用条件
少量缺失（5%）
删除行
删除“用户性别”缺失的记录
缺失数据无业务意义，且样本量充足
大量连续变量缺失
均值/中位数填充
用“用户年龄”的中位数（32岁）填充缺失值
数据分布无明显偏态
分类变量缺失
众数/“未知”填充
“地区”字段缺失时填充“未知”
众数具有代表性，或业务允许“未知”类别
关键指标缺失
模型预测
用历史数据训练回归模型预测“订单金额”缺失值
存在相关特征且数据量足够
操作步骤：
工具：Python（fillna()、SimpleImputer）、Excel（IF函数）；
注意：填充前需分析缺失原因（如随机缺失/非随机缺失），避免掩盖数据真实分布。
2.2.2异常值处理
异常类型
识别方法
处理方式
统计异常（3σ法则、箱线图IQR）
超出μ±3σ或[Q1-1.5IQR,Q3+1.5IQR]
核查业务真实性：真实异常保留（如大额订单），错误异常修正或删除
业务异常（如年龄=0）
业务规则校验
按业务规则修正（如将“年龄=0”改为“年龄缺失”）或删除
操作步骤：
工具：Python（matplotlib箱线图、zscore函数）、SQL（CASEWHEN）；
示例：标记“订单金额10000”的订单，交由业务人员*核查是否为误录入。
2.2.3重复值处理
识别重复：基于唯一键（如用户ID+订单号）检查完全重复或部分重复的记录；
处理方式：
保留最新/最有效记录（如用户登录日志保留最近一条）；
合并记录（如同一用户多次购买，合并订单金额）。
2.3阶段三：数据转换与标准化
目标：统一数据格式、编码及结构，适配分析需求。
操作步骤：
格式统一
日期格式：统一为“YYYY-MM-DD”（如将“2023/10/1”改为“2023-10-01”）；
文本格式：去除前后空格（如“北京”→“北京”）、统一大小写（如“男”/“Male”→“男”）。
编码标准化
分类变量编码：将“性别”（男/女/未知）转换为“0/1/2”；
枚举值映射：将“订单状态”（1=待支付，2=已支付，3=已取消）映射为文字描述。
数据离散化与特征构造
连续变量分箱：将“用户年龄”分为“18-25岁/26-35岁/36岁以上”；
特征衍生：基于“注册日期”构造“用户注册时长”（当前日期-注册日期）。
2.4阶段四
文档评论（0）