数据仓库体系架构、主要过程与技术介绍（59页 PPT）.pptxVIP

数据仓库与数据挖掘培训

体系架构、主要过程与技术介绍;

狭义：DBofDW

静态：DataWarehouse

广义：DWBI

劢态：DataWarehousing;

Datawarehouseisasubjectoriented,integrated,non-volatileandtimevariant

collectionofdatainsupportofmanagement’sdecision.;

什么是主题？

主题是一个抽象的概念，是在较高层次上将企业信息系统的数据综合、归类并进行分析利用的抽象。

以零售业为例，“销售”、“库存”、“供应商”、“客户”等就是一些可以进行分析研究的主题

以钢铁业为例，市场行情（行业发展情况，生产、供需、进出口）、钢材品种发展、钢铁上下游关联行业发展情况、财务（各种关注的财务指标）、销售（经营情况【销量、业绩】、库存、供应商和客户）等;

1、各个主题有完整、一致的内容以便在此基础上作分析处理；

2、主题之间有重迭的内容，反映主题间的联系。重迭是逻辑上的，不是物理上的；

3、各主题的综合方式存在不同；

4、主题域应该具有独立性、完备性。

?独立性：有明确界限，数据是否属于该主题；;

1、数据仓库里的数据是面向整个企业；

2、整合并统一多个业务系统数据的集合；

3、数据要保证一致性、完整性、有效性、精确性;

2、数据仓库中的数据极少更新;

1、数据仓库大多关注的是历史数据

2、数据仓库中的表大多含有时间属性

3、定期从OLTP接收新的数据内容;

DWBI的常见体系架构

ETLETLETL

ODS;

DWBI生态系统;

数据仓库建设的七个主要环节：

1、异种数据源集成

2、ODS层的设计

3、数据仓库模型设计

4、ETL过程的设计

5、元数据管理

6、专题分析与数据挖掘

7、前端展现;

DWBI的主要支撑技术

DWBI系统建设过程中，涉及的主要技术大致有：;;

一般来说，DWBI的体系架构中大致可分为以下几个功能层：;

数据整合层一般是指构建ODS（OperationalDataStore，操作性数据存储区）的过程，有些构建过程中可能会做成Stage+ODS；;

3、同时规避了因网络因素可能造成的其他以外问题;

1、快速接收数据采集过程传过来的大量数据，缩短数据采集时间，减少数据采集对应用系统的冲击；

2、实现对跨系统、多数据源的统一数据采集，提高了采集数据的可靠性和一致性；

3、所有文本式的数据，应先在整合层集中，再作后续处理；

4、所有的数据后续处理，因为数据整合层，而统一了接口，降低了技术复杂性和网络不良等因素；

5、数据整合层保存了要加载的数据，避免了数据转换过程对数据源的直接操作，减少了对数据源的影响；

6、当数据仓库中的数据转换出错或失败时，可以从数据整合层中再次抽取数据进行转换，而不必从数据源系统中抽取，减少的数据源系统的负载，

也提高了系统的效率。;

数据整合层的构建和设计对于企业数据采集，从扩展性、有效性上十分必要；

在物理上，数据整合层可以和ETL工具甚至DW安装或构建在一台服务器上;

1、数据仓库中的数据根据分析主题通常按照星型模型组织，每个分析主题在数据仓库中有对应的事实表及维表;

利用数据仓库的数据，根据用户需求建立多维分析模型（CUBE多维立方体）；

模型以ROLAP、MOLAP方式存储，以使用户能方便地从任意角度、任意细节来共享、存取和分析企业的数据;

按照用户的分析需求，实现把数据仓库系统中的信息和分析结果提供给最终用户；

使用定制报表、随即查询、多维分析和数据挖掘等方法和技术进行数据展现;

各层中对应的数据类别;

各层中对应的数据结构;

数据仓库架构的一种情况;

数据仓库架构的理想情况;

?创建EDW作为一个长期的目标;

?投资少、见效快

?设计上相对灵活

?快速部署、便于复制;

?从数据仓库中分离部门业务的数据集市

?部门级数据集市直接依赖于企业数据仓库;

?数据规范化程度高

?面向全企业构建了结构稳定和数据质量可靠的数据中心

?相对快速有效地分离面向部门的应用;

OracleBI的总体架构;

OracleBI的软件架构;

1、明确用户的战略远景、业务目标；

2、确定数据仓库设计的目的和目标；

3、定义清楚数据仓库的范围、主题和针对的业务；

4、确定系统所需的平台和工具；

5、确定数据