《商务智能技术应用》课件——02-ETL处理过程.pptxVIP

第2章数据仓库

02ETL处理过程什么是ETLETL的实现方法数据抽取数据转换数据清洗数据加载

什么是ETL异构数据库数据仓库抽取转换、清洗加载ETL（Extract-Transform-Load）是将联机事务处理系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。ETL是构建数据仓库的重要过程。

ETL的实现有多种方法，常用的有三种：ETL工具实现、SQL方式实现、ETL工具结合SQL方式实现。实现方法优点缺点ETL工具速度快、难度低灵活度低、运行效率低SQL方式灵活度高、运行效率高编码复杂、技术要求高ETL工具+SQL方式开发速度和效率高ETL的实现方法

数据仓库是面向主题的，并非所有源数据库的数据都是有用的，因此在把数据库中的相关数据导入到数据仓库之前，需要先确定该数据库中哪些数据是与决策相关的。1.确定数据源的数据及其含义2.确定数据的抽取范围3.确定数据的抽取频率4.确定外部数据的导入方式5.确定抽取异常的处理方式6.确定输出目的地和格式具体流程和主要工作：数据抽取

数据仓库的数据通常来源于多个异构的数据库，因此源数据在加载到数据仓库之前，需要对数据进行一定的数据转换，以保证数据的一致性。1.不一致数据的转换2.数据粒度的转换3.商务规则的计算数据转换数据转换

数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果交给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。数据的清洗是一个循环反复的过程。清洗重复的数据清洗错误的数据清洗不完整的数据数据清洗

数据转换、清洗结束后，需要把数据装载到数据仓库中，数据的装载有三种方式。数据装载初始装载增量装载完全刷新数据加载

1.进行数据仓库构建的过程中需要使用到ETL技术，那么ETL具体指的是（）A、抽取，转换和清洗，加载B、抽取，加载，转换和清洗C、转换和清洗，加载，抽取D、转换和清洗，抽取，加载小试牛刀抢答加分环节单选2.对数据进行清洗、数据转换、清洗结束后，需要把数据存储到数据仓库中，通常会使用到的数据装载的方法有（）A、初始装载B、增量装载C、加量装载D、初始装载、增量装载、完全刷新

谢谢观看