第12节_第12节 数据仓库技术资料.pptVIP

12.4 数据仓库系统的体系结构 由于数据仓库的数据来源于多种不同的数据源。它们可能是不同平台上异构数据库中的数据，也可能是外部独立的数据文件、Web页面、市场调查报告等等。 因此，这些数据常常是不一致的。例如： （1）同一字段在不同应用中具有不同数据类型； （2）同一字段在不同应用中具有不同的名字； （3）同名字段，不同含义。 12.4 数据仓库系统的体系结构 为了将这些不一致的分散的数据集成起来，必须对它们进行转换后才能供分析之用。数据抽取、清洗、转换工具就是用来完成这些工作。 数据抽取工具主要通过网关或标准接口把原来OLTP系统中的数据按照数据仓库的数据组织进行抽取。 数据清洗主要是对源数据之间的不一致性进行专门处理，并且要去除与分析无关的数据或不利于分析处理的躁声数据。 12.4 数据仓库系统的体系结构 数据经过抽取、清洗和转换后，就可以装载到数据仓库中，这由数据仓库的装载工具来实现。 装载工具要解决的另一个问题是对大数据量的处理。数据仓库中的数据量比OLTP系统要大得多，进行装载需要很长的时间。目前通常的解决方式有两种：并行装载和增量装载。并行装载是把任务进行分解，充分利用CPU资源。增量装载就是只装载修改的