财务大数据分析（第二版） 课件 3. 数据清洗.pptxVIP

数据清洗

数据清洗的概念与方法

数据清洗的必要性对于数据挖掘来说，80%的工作都花在数据准备上面，而数据准备，80%的时间又花在数据清洗上。数据清洗顾名思义就是将“脏数据”进行清洗。什么是脏数据？重复数据冲突数据错误数据无效数据缺失数据

数据清洗的必要性脏数据是怎么来的？数据源多样录入错误不同人员录入来源数据标准不一致计算代码错误技术原因瑕疵脏数据是怎么来的原因是多种多样的，最根本的原因就是数据的来源多样，使得数据的标准、格式、统计方法不一样。其次就是录入和计算数据的代码有错误，这也都是不可避免的

数据清洗概念数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。数据清洗(Datacleaning)对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。

数据清洗的主要内容缺失值清洗1格式内容清洗2逻辑错误清洗3非需求性数据清洗4关联性验证5

数据清洗设计Xx店销售数据_2019-01.xlsXx店销售数据_2019-02.xlsYy店销售数据_2019-02.xls数据计算层ERP数据库库存表商品数据库品类表商品数据库价格表销售分析数据库门店销售数据库数据流程示意图少量数据。先合并、联接再清洗；大数据源接入。先按照统一标准清洗，再接入；每个数据计算层。先清洗再计算；分析结果发现数据问题。向前溯源