数据清洗的主要类型及步骤.docxVIP

数据清洗的主要类型及步骤 一、数据清洗的定义数据清洗是指觉察并订正数据文件中可识别的错误的最终一道程序，包括检查数 据全都性，处理无效值和缺失值等。数据清洗从名字上也看的出就是把脏的 洗掉，指觉察并订正数据文件中可识别的错误的最终一道程序，包括检查数 据全都性，处理无效值和缺失值等。 二、数据清洗的主要类型1、残缺数据 这一类数据主要是一些应当有的信息缺失，如供应商的名称、分公司的名称、客 户的区域信息缺失、业务系统中主表与明细表不能匹配等。对于这一类数据过滤 出来，按缺失的内容分别写入不同Excel文件向客户提交，要求在规定的时间内 补全。补全后才写入数据仓库。 2、错误数据这一类错误产生的缘由是业务系统不够健全，在接收输入后没有进行推断直接写 入后台数据库造成的，比方数值数据输成全角数字字符、字符串数据后面有一个 回车操作、日期格式不正确、日期越界等。这一类数据也要分类，对于类似于全 角字符、数据前后有不行见字符的问题，只能通过写SQL语句的方式找出来， 然后要求客户在业务系统修正之后抽取。日期格式不正确的或者是日期越界的这 一类错误会导致ETL运行失败，这一类错误需要去业务系统数据库用SQL的方 式挑出来，交给业务主管部门要求限期修正，修正之后再抽取。 3、重复数据对于这一类数据——特殊是维表中会消失这种状况——将重复数据纪录的全部 字段导出来，让客户确认并整理。 数据清洗是一个反复的过程，不行能在几天内完成，只有不断的觉察问题，解决 问题。对于是否过滤，是否修正一般要求客户确认，对于过滤掉的数据，写入 Excel文件或者将过滤数据写入数据表，在ETL开发的初期可以每天向业务单位 发送过滤数据的邮件，促使他们尽快地修正错误，同时也可以做为将来验证数据 的依据。数据清洗需要留意的是不要将有用的数据过滤掉,对于每个过滤规章仔 细进行验证，并要用户确认。 三、数据清洗步骤 数据清洗的主要路径如图： 预处理阶段/阶段却去除/补全有缺失的数据 // 一阶段2：去除/修改格式和内容错误的数据数据清洗路径 阶段3:去除/修改逻辑错误的数据\阶段4：去除不需要的数据 阶段5：关联性验证L对缺失值进行清洗 一般来说，缺失值是最常见的数据问题，处理缺失值也有许多方法，我们需要根 据步骤来做，第一就是确定缺失值范围：对每个字段都计算其缺失值比例，然后 根据缺失比例和字段重要性，分别制定策略。 2、去除不需要的字段实际操作中是特别简洁的，直接删掉就可以了，不过需要提示大家的是，清洗数 据的时候每做一步都备份一下，或者在小规模数据上试验胜利再处理全量数据, 假如删错数据就会追悔莫及。 3、填充缺失内容这是由于某些缺失值可以进行填充，方法有三种，分别是以业务学问或阅历推想 填充缺失值、以同一指标的计算结果（均值、中位数、众数等）填充缺失值、以不 同指标的计算结果填充缺失值。 4、重新取数由于某些指标特别重要又缺失率高,那就需要和取数人员或业务人员了解，是否 有其他渠道可以取到相关数据。这就是缺失值清洗的步骤。 5、关联性验证假如你的数据有多个来源，那么有必要进行关联性验证。假如不关联，这个数据 据需要我们清洗。 以上就是思迈特软件今日共享的数据清洗相关信息。 感谢您的阅读，更多学问，请连续关注我们，下期再见！ 广州思迈特软件（简称：思迈特软件Smartbi）是我国认定的高新技 术企业，专注于商业智能（BI）与大数据分析软件产品和服务。我们在BI领 域具有15年以上产品研发阅历，供应完整的大数据分析软件产品、解决方案、 以及配套的询问、实施、培训及维护服务。