大数据背景下的数据分析.pptxVIP

大数据背景下统计软件在数据分析中的应用;背景介绍;;CDA数据分析师（严谨课程体系+专业师资团队+优质服务体验，学数据分析就学CDA！）;大数据背景故事;;;大数据的本质;大数据的“大”体现：;大数据的基本特征;大数据背景下数据分析;数据挖掘：DataMining

一般流程;1.数据清洗现实世界的数据一般是不完整的、有噪声的和不一致的。数据清理例程试图填充缺失的值，光滑噪声并识别离群点，纠正数据中的不一致。（1）缺失值处

理①忽略元组：当缺少类标号时通常这样做。除非元组有多个属性缺少值，否则该方法不是很有效。②人工填写缺失值：一般情况下，该方法很费时。③使用一个全局常量填充缺失值：将缺失值用同一个常数（如Unknown或﹣∞）替换。如果缺失值都用Unknown替换，则挖掘程序可能误认为它们形成了一个有趣的概念，因为它们都具有相同的值“Unknown”。因此此方法虽然简单但不可靠。④使用属性的均值填充缺失值：例如，假定顾客的平均收入为56000美元，则使用该值替换income中的缺失值。⑤使用与给定元组属同一类的所有样本的属性均值，例如，将顾客按credit_risk分类，则用具有相同信用度给定元组的顾客的平均收入替换income中的缺失值。⑥使用最可能的值填充缺失值：可以用回归、使用贝叶斯形式化的基于推理的工具或决策树归纳确定。例如，利用数据集中其他顾客的属性，可以构造一棵决策树