第三章节节 数据抽取、转换跟装载资料.pptVIP

第三讲 数据抽取、转换和装载 数据抽取、转换和装载 目标： 广泛了解ETL的功能 检查数据抽取功能（挑战、技术、评估和应用） 数据转换功能的任务和类型 理解数据整合和合并的意义 认识数据装载功能的重要性，了解将数据应用到数据仓库的主要方法 理解为何说ETL非常重要、耗时和艰巨的任务 Contents ETL概览 数据抽取 数据转换 数据装载 ETL总结 ETL概览 Contents 最重要和最具有挑战性 耗时而且费劲 ETL的需求和步骤 关键因素 1.最重要和最具有挑战性 ETL功能具有挑战性，是因为源系统的性质 源系统彼此悬殊，种类多样，通常需要应付多个平台上的不同操作系统 很多源数据都是陈旧的应用系统采用的是过时的技术 旧系统中的数据质量各不相同，需要花很多时间进行处理 历史数据通常不会被保存在操作型系统中，但对于DW至关重要。 源系统之间普遍缺乏一致性。在不同的源系统中，相同的数据可能会用不同的形式来代表，且缺乏解决方法，导致不一致问题更加严重 源系统的结构随着时间会发生变化，因为新的商业条件不断出现。ETL功能也必须相应的调整 大多数源系统的数据格式和类型对用户没有实际的含义，而且很多展现方式模糊而晦涩的。 2.耗时而且费劲 50％～70％的时间花费在ETL上 抽取： what? where? when? 转换：How？定义结构、缺失值补充、格式转换 装载：Long