数据仓库建模与ETL的实践技巧.pdf

BI，数据仓库（DW）建模与ETL的实践技巧

作者：MALONE

日期：2009-02-20

主要内容(一)

一、什么是BI（BusinessIntelligence）

(一)、什么是BI的定义？

(二)、BI的诞生？

(三)、基本技术

(四)、数据处理

(五)、数据展现

(六)、常用的BI厂商和产品

主要内容(二)

二、数据仓库的架构

(一)、什么是数据仓库？

(二)、数据仓库和OLTP数据库的区别?

(三)、数据仓库的架构模型有哪些？

三、构建企业级数据仓库五步法

(一)、确定主题

(二)、确定量度

(三)、确定事实数据粒度

(四)、确定维度

1.如何理解维度？及维度的层次和级别?

2.什么是缓慢变化维度？

3.缓慢变化维度几种基本情况？几种情况的利弊？

(五)、创建事实表

主要内容(三)

四、什么是ETL(ETL中的关键技术)

(一)、数据抽取

(1)全量抽取

(2)增量抽取

增量数据抽取中常用的捕获变化数据的方法:

a.触发器b.时间戳

c.全表比对d.日志对比

(二)、数据转换和加工

(1)ETL引擎中的数据转换和加工

(2)在数据库中进行数据加工

(三)、数据装载

(1)直接SQL语句进行insert、update、delete操作

(2)采用批量装载方法，如bcp、bulk、关系数据库

特有的批量装载工具或api

(四)、主流ETL工具介绍

主要内容(一)

一、什么是BI（BusinessIntelligence）

(一)、什么是BI的定义？

(二)、BI的诞生？

(三)、基本技术

(四)、数据处理

(五)、数据展现

(六)、常用的BI厂商和产品

MarketingDesign

BIApplication

ConsultingCompany一、什么是BI（BusinessIntelligence）

(一)、什么是BI（BusinessIntelligence）

a、什么是BI的定义？

BI是BusinessIntelligence的英文缩写，中文解释为商务智能，用来帮助企业更好

地利用数据提高决策质量的技术集合，是从大量的数据中钻取信息与知识的过程。

简单讲就是业务、数据、数据价值应用的过程。用图解的方式可以理解为下图：

这样不难看出，传统的交易系统完成的是Business到Data

的过程，而BI要做的事情是在Data的基础上，让Data产

生价值，这个产生价值的过程就是BusinessIntelligence

analyse的过程。

MarketingDesign

BIApplication

ConsultingCompany一、什么是BI