? ?
?
? ?
大数据预处理之数据清洗
?
? ?
?
?
?
?
?
?
?
? ? ?
?
?
?
?
?
现实世界的数据常常是不完全的、有噪声的、不一致的。数据清洗过程包括遗漏数据处理,噪声数据处理,以及不一致数据处理。本节介绍数据清洗的主要处理方法。
遗漏数据处理
假设在分析一个商场销售数据时,发现有多个记录中的属性值为空,如顾客的收入属性,则对于为空的属性值,可以采用以下方法进行遗漏数据处理。
1)忽略该条记录
若一条记录中有属性值被遗漏了,则将此条记录排除,尤其是没有类别属性值而又要进行分类数据挖掘时。
当然,这种方法并不很有效,尤其是在每个属性的遗漏值的记录比例相差较大时。
2)手工填补遗漏值
一般这种方法比较耗时,而且对于存在许多遗漏情况的大规模数据集而言,显然可行性较差。
3)利用默认值填补遗漏值
对一个属性的所有遗漏的值均利用一个事先确定好的值来填补,如都用“OK”来填补。但当一个属性的遗漏值较多时,若采用这种方法,就可能误导挖掘进程。
因此这种方法虽然简单,但并不推荐使用,或使用时需要仔细分析填补后的情况,以尽量避免对最终挖掘结果产生较大误差。
4)利用均值填补遗漏值
计算一个属性值的平均值,并用此值填补该属性所有遗漏的值。例如,若顾客的平均收入为 10000 元,则用此值填补“顾客收入”属性中所有被遗漏的值。
5)利用同类别均值填补遗漏值
这种方法尤其适
您可能关注的文档
- 大厦能耗管理系统的设计与应用.docx
- 大数据处理两套解决方案.docx
- 大数据量同步方案之全量同步改为增量同步解决方案.docx
- 大数据平台安全风险与建设.docx
- 大厦闸机连接访客系统的应用优势.docx
- 大数据背景下的智慧城市建设解决方案-智建社区.docx
- 大数据预处理架构和方法简介.docx
- 大数据运维-大数据平台+海量数据.docx
- 大数据运维的工作职责.docx
- 大数据运维-集群-监控-CDH-Docker-K8S.docx
- 《设备控制处处在》教学课件-2026-2027学年华中科大版(新版)小学信息科技六年级全一册.pptx
- 部编语文二年级上册句子总复习.pptx
- 《通过反馈知效果》教学课件-2026-2027学年华中科大版(新版)小学信息科技六年级全一册.pptx
- 《我是小小控制员》教学课件-2026-2027学年华中科大版(新版)小学信息科技六年级全一册.pptx
- 《开关量的真与假》教学课件-2026-2027学年华中科大版(新版)小学信息科技六年级全一册.pptx
- 部编版语文三年级上《礼物》.pptx
- 退货跨班周期维护问题复盘与改进跟踪.docx
- 退货跨班任务分派与班前准备核对单.docx
- 退货跨班资料追溯与责任交接单.docx
- 退货逆向物流结果复核与验收确认记录表.docx
最近下载
- 中联ZT42J-Service-and-Maintenance-Manual-Portuguese维修手册含电器液压原理图.docx
- 2025湖南工商大学湘江实验室招聘研发人员12人笔试备考题库及答案解析.docx VIP
- 2025年初级消防装备维护员资格理论考试题库(含答案).docx
- 香港平安卡(平安咭)考试题目及详细答案.docx
- 12福特福克斯 电路图.pdf VIP
- 2025湖南工商大学湘江实验室招聘研发人员12人备考题库及答案解析.docx VIP
- 苜蓿青贮后RFV降低是一种误解.pdf VIP
- SY∕T 6928-2018 液化天然气接收站运行规程.pdf
- 人教版五年级上册数学用字母表示数练习题总汇.docx VIP
- 红岩概括每章字.doc VIP
原创力文档

文档评论(0)