数据仓库 B 商业智能 交流.ppt

ETL处理机制 * 数据装载机制 3.全量／增量混合装载就是一部分数据用全量装载方式装载，一部分 数据用增量装载方式装载。目的是综合利用两种方式的优点，避免二者的缺 点。但是往往效果不如人意。因为任何一种装载方式的好与坏都是相对的， 不能用绝对的观点去看问题。所以这种装载方式如果做的不好可能反而是保 留了两种装载方式的缺点，而舍弃了优点。当然这是大家不愿意看到的结果 ，但是如果想要得到积极的效果，就要花大量的精力去设计ETL的存储策略 和处理流程，这就增加了系统的开发成本。 中银保险MIS系统，由于数据量比较大，总体原则采用增量加载的原则 。同时有些表数据量非常小，为了减少逻辑的复杂性和ETL开发量，因此这 部分表采用全量加载方式处理。 挎淘榆荧窿饲烛吃蒜酚鹿索函怪减酬衡酸彰召卷阐工揖殴赃裁怒标讳揽性数据仓库 B 商业智能 交流数据仓库 B 商业智能 交流 ETL处理机制 * 中间结果存放机制 ETL加工过程中产生的临时数据结果集的存放。 数据表存放方式有两种，其一是通过数据库表的形式保存，就是把数 据直接存放到数据库表中。然后通过数据库提供的SQL语句或嵌入式SQL程序 来完成数据的转换、加工过程，最终可以直接装载到业务追踪分析系统的数 据库表群中。另一种形式是通过文件的