原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
数据分析基础框架搭建工具数据收集及清洗标准模板
一、适用场景与目标
二、数据收集操作流程
1.需求对接与范围明确
操作说明：
与业务部门（如市场部、运营部、财务部）、数据需求方（如经理、分析师）召开需求沟通会，明确分析目标（如“用户留存率分析”“销售趋势预测”）、核心指标定义（如“活跃用户”“客单价”）、所需数据维度（如时间、地域、用户画像）。
输出《数据需求说明书》，包含字段清单（如“用户ID”“注册时间”“订单金额”）、数据颗粒度（如按日/周/月汇总）、数据时间范围（如“2023年1月-2023年12月”）。
关键输出：《数据需求说明书》（需业务方与数据团队签字确认）。
2.数据源梳理与评估
操作说明：
列出所有可能的数据源，包括内部系统（如CRM系统、ERP系统、业务数据库、埋点日志）、外部数据（如第三方行业报告、公开数据集、合作伙伴数据）。
对各数据源进行评估，维度包括：数据质量（完整性、准确性）、获取难度（是否需要权限申请、API对接）、更新频率（实时/每日/每月）、数据格式（Excel/CSV/JSON/数据库表）。
优先选择高可用性、低延迟、与需求匹配度高的数据源，避免多源数据冲突。
3.采集方案设计
操作说明：
根据数据源类型确定采集方式：
内部系统：通过数据库直连（如MySQL、Oracle）、ETL工具（如ApacheAirflow、DataX）定期抽取；
外部数据：通过API接口调用（需申请密钥）、文件（如CSV/Excel）、爬虫技术（需遵守网站robots协议，保证合规性）。
制定采集频率（如业务数据每日同步，埋点数据实时同步）、数据存储格式（如Parquet列式存储提升查询效率）、异常处理机制（如采集失败重试策略、数据缺失告警）。
4.数据采集执行与初步核验
操作说明：
按采集方案执行数据抽取，记录《数据采集日志》（含采集时间、数据量、异常记录、处理人）。
初步核验数据完整性：检查关键字段（如用户ID、订单ID）是否为空、数据量是否符合预期（如较昨日波动是否超±10%）。
若发觉数据量异常或关键字段缺失，立即反馈数据源负责人排查（如系统接口故障、数据未按时上报），直至问题解决。
三、数据清洗操作流程
1.数据导入与格式统一
操作说明：
将采集的原始数据导入分析工具（如PythonPandas、SQL、Excel、ApacheSpark），检查数据编码（如UTF-8、GBK）、日期格式（如“2023-01-01”或“2023/01/01”）、数值格式（如是否含千分位逗号、货币符号）。
统一数据格式：日期字段转为“YYYY-MM-DD”格式，数值字段去除特殊符号（如“￥1,000”转为“1000”），文本字段去除首尾空格。
2.缺失值处理
操作说明：
识别缺失值：通过isnull()（Python）或COUNT(*)（SQL）统计各字段缺失率，标记缺失字段（如“用户性别”缺失率15%）。
分析缺失原因：是数据未采集（如用户未填写）、采集失败（如接口超时），还是业务逻辑导致（如“订单取消”字段无值）。
制定处理策略：
缺失率5%：直接删除记录（如关键字段“订单ID”缺失）；
5%≤缺失率30%：填充合理值（如数值型字段用均值/中位数填充，分类型字段用众数/“未知”填充）；
缺失率≥30%：考虑删除字段或标记为“缺失”单独分析（如“用户偏好”缺失率高，需与业务方确认是否保留）。
记录处理逻辑（如“用户性别缺失值用‘未知’填充”），避免后续分析误判。
3.异常值识别与处理
操作说明：
识别异常值：通过统计方法（如3σ原则、箱线图IQR法则）或业务规则（如“用户年龄120岁”为异常、“订单金额为负数”为异常）标记异常数据。
判断异常类型：是录入错误（如“年龄=200”）、测量偏差（如传感器数据异常），还是真实极端值（如“大额订单”）。
处理策略：
录入错误/测量偏差：删除或修正（如联系业务部门核实后修正为“20岁”）；
真实极端值：保留但标注异常（如“订单金额10000元”标记为“大额订单”），或进行分箱处理（如将金额分为“0-100元”“101-1000元”“1000元”）。
4.重复值去重
操作说明：
定义重复规则：根据业务场景确定唯一标识字段（如“用户ID+订单日期”组合重复视为重复订单）。
去重处理：保留最新记录（如按时间戳降序排序后取第一条）或有效记录（如“订单状态=已完成”优先保留），删除重复数据。
统计去重前后数据量，记录重复率（如“重复数据占比2%，已删除”）。
5.数据标准化与一致性校验
操作说明：
标准化命名规范：统一字段名称（如“user_name”与“用户名”统一为“user_name”）、类别值（如“性别”字段“男/女/1/0”统一为“男/女/未知”）。
跨表一
文档评论（0）