基于Hadoop构建数据分析系统-资源实验1：通过hive对外贸数据进行清洗实验1：通过hive对外贸数据进行清洗.pptxVIP

负责人：胡晶目录通过hive对外贸数据进行清洗011实验1：通过hive对外贸数据进行清洗通过hive对外贸数据进行清洗制作思路从Hive数据仓库中集合了四张维度表和一张事实表newo3_all的数据进行最后的清洗工作，将不规范的字段进行调整和填充，完成清单层工作。Kettle 里没有单一的数据清洗步骤，但又很多的步骤组合起来可以完成数据清洗的功能。（也可以使用“表输入”步骤里的可自定义的sql语句来做一些清洗工作，只抽取出必要的数据再传递给后面的步骤。但要注意，SQL 语句太复杂会使以后的维护工作比困难。当然我们也可以把数据原样读出来然后使用 Kettle 步骤转换，这里需要用户在效率和维护性之间平衡。）通过hive对外贸数据进行清洗清洗总流程图：通过hive对外贸数据进行清洗Hive数据仓库相关配置：通过hive对外贸数据进行清洗1.清洗事实表（规范与整理）将countryofdestination字段的【】内的内容提取出来作为新的countryofdestination字段，并且将totalamount的字段中的汉字删除，只保留金额，更改quantityorweight字段的类型为decimal。通过hive对外贸数据进行清洗2.填充空值（市）将不规范的市级名称和代码填充为区县名称和代码通过hive对外贸数据进行清洗3.填充空值（省）将不规范的省级名称和代码填充为市级名称和代码。