《计算机技术与计算思维》10.教案-数据处理与图表展示.docx

时间

分配

教学过程

Min

90

学生讨论：

为什么要进行数据处理？数据处理的目的是什么？针对上述问题进行探讨、讲解、总结、归纳。

数据处理的目的是从大量的原始数据中提取出有价值的信息，以便更好地理解、描述和预测数据背后的现象和规律。总之，数据处理是为了更好地利用数据，以实现更准确、更高效、更有价值的数据分析和应用。

老师讲授：

1、数据清洗

数据清洗就是将多余重复的数据筛选清除掉，将缺失的数据补充完整，将错误的数据纠正或删除。清洗数据包括三部分：清除掉不必要的重复数据、填充缺失的数据、检测逻辑错误的数据，数据清洗的目的是为后面的数据加工提供完整、简洁、正确的数据。

2、残缺数据

这一类数据主要是一些应该有的信息缺失，如供应商的名称、分公司的名称、客户的区域信息缺失、业务系统中主表与明细表不能匹配等。对于这一类数据过滤出来，按缺失的内容分别写入不同Excel文件向客户提交，要求在规定的时间内补全。补全后才写入数据仓库。

3、错误数据

这一类错误产生的原因是业务系统不够健全，在接收输入后没有进行判断直接写入后台数据库造成的，比如数值数据输成全角数字字符、字符串数据后面有一个回车操作、日期格式不正确、日期越界等。这一类数据也要分类，对于类似于全角字符、数据前后有不可见字符的问题，只能通过写SQL语句的方式找出来，然后要求客户在业务系统修正之后抽取。日期格式不正确的或者是日期越界的这一类错误会导致ETL运行失败，这一类错误需要去业务系统数据库用SQL的方式挑出来，交给业务主管部门要求限期修正，修正之后再抽取。

4、重复数据

对于这一类数据——特别是维表中会出现这种情况——将重复数据记录的所有字段导出来，让客户确认并整理。

数据清洗是一个反复的过程，不可能在几天内完成，只有不断的发现问题，解决问题。对于是否过滤，是否修正一般要求客户确认，对于过滤掉的数据，写入Excel文件或者将过滤数据写入数据表，在ETL开发的初期可以每天向业务单位发送过滤数据的邮件，促使他们尽快地修正错误,同时也可以做为将来验证数据的依据。数据清洗需要注意的是不要将有用的数据过滤掉，对于每个过滤规则认真进行验证，并要用户确认。

课堂实践练习

1、根据教材中的重复数据清洗，分别用以下四种方式进行清洗

数据工具法

高级筛选法

函数法

条件格式法

2、根据教材中的数据抽取，分别用以下二种方式进行数据抽取

函数法

菜单法

作业：见EQ平台

课

后

反

思