数据仓库知识整理.docVIP

PAGE

PAGE1

数据仓库知识整理

数据仓库产生

在市场经济激烈竞争中，企业必须把业务经营同市场联系，在此基础上作出科学、正确的决策以求生存。为此，企业纷纷建立了自己的数据库系统，由计算机管理代替手工操作，以此来收集、存储、管理业务数据，改善办公环境，提高操作人员的工作效率。问题：面向业务操作设计，无论是查询、统计，还是生成报表，其处理方式都是对指定的数据进行简单的数字处理。但是，如果决策者（比如总经理）希望得到一项分析数据；需求提交给公司的信息部门，信息部门指派人员编制程序；几天后信息部门的报表送到决策者手中；决策者发觉报表不符合要求，提出修改意见交还给信息部门；信息部门修改程序，几天后新的报表送给总经理。决策者：数据来的太慢了，我已经对它不感兴趣了！！

原因：数据库是针对操作型处理设计的，也叫事务处理。

联机事务处理系统（On-lineTransactionProcessing）OLTP系统：是指对数据库的日常联机访问操作，它是事件驱动、面向需求的，比如银行的储蓄系统就是一个典型的OLTP系统。

OLTP在使用过程中积累了大量的数据。

关系数据库概念提出之后，联机事务处理一直是数据库应用的主流。

OLTP的特点：

·通常仅仅是对一个或一组记录的查询或修改

·对响应时间要求非常高;

·执行频率高，用户数量非常庞大,主要是操作人员;

·数据库的各种操作基于索引进行。

数据仓库的出现是为分析型处理，即联机分析处理系统（On-lineAnalyticalProcessing）OLAP系统：是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业给特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。

它是基于数据仓库的信息分析处理过程，是数据仓库的用户接口部分，它是数据驱动、面向分析的。OLAP系统是跨部门、面向主题的。

OLAP基本思想是：

企业决策者应能灵活地操作企业的数据，以多维的形式从多方面和多角度来观察企业的状态并了解企业的变化。OLAP系统与数据源的数据存储相分离，只要提供足够的数据即可完成OLAP分析。

OLAP的目标是满足决策支持或多维环境特定的查询和报表需求，它的技术核心是“维”这个概念，因此OLAP也可以说是多维数据分析工具的集合。

OLAP的特点：

·需要执行大量的统计操作

·需要访问大量的历史数据

·执行频率和对响应时间的要求都不高等。

OLAP表现方式

钻取

改变维的层次，变换分析的粒度

向上钻取（rollup）按时间上卷到半年为单位。

向下钻取（drilldown）按时间分到月、甚至天为单位

切片和切块

在一部分维上选定值后，关心度量数据在剩余维上的分布如果剩余的维只有两个，则是

切片；如果有三个，则是切块。举例：

切片(slice)：地区=“北京”意义：北京地区四个季度各产品的销售金额

切片：产品=“空调”意义：空调产品在四个季度中各地区的销售金额

分块(dice)：地区=南京“”AND“广州”产品“空调”AND“手机”

旋转（pivot）

旋转是变换维的方向，即在表格中重新安排维的放置（例如行列互换）

为什么要建立数据仓库?

事务处理环境不适宜DSS应用的原因

·事务处理和分析处理的性能特性不同

操作型处理对数据的存取操作频率高而每次操作处理的时间短；

在分析处理环境中，某个DSS应用程序可能需要连续几个小时，从而消耗大量的系统资源。

·数据集成问题

·数据动态集成问题

·历史数据问题

·数据的综合问题

建立数据仓库需要哪些基本条件？

第一：该行业有较为成熟的联机事务处理系统，它为数据仓库提供客观条件；

第二：该行业面临市场竞争的压力，它为数据仓库的建立提供外在的动力；

第三：该行业为数据密集型行业；

数据仓库的发展的动力

业务需求驱动

--主要是详细的分析

--科学的经营

市场活动的细化和实施等

数据驱动

--数据量不断扩大

--没有数据仓库等相关技术很难全面了解企业

项目驱动

数据仓库的基本概念

数据仓库的概念由被誉为“数据仓库之父”的WilliamH.Inmon博士提出的：数据仓库是一个面向主题的、集成的、随时间变化的、信息相对稳定的数据集合，它用于对企业管理和决策提供支持。

数据仓库的主要特征：在于面向主题、集成的、相对稳定性和与时间相关的。

所谓主题：是指用户使用数据仓库进行决策时所关心的重点方面，如：客户、产品、账务、事件、服务使用、资源、客户服务、地域等；

所谓面向主题，是指数据仓库内的信息是按主题进行组