数据仓库数据挖掘chap.ppt

Chap2 数据仓库与OLAP Chap2 数据仓库与OLAP 2.1 进一步深入理解数据仓库的定义 2.2 数据仓库的数据组织 2.3 数据仓库的体系结构 2.4 数据仓库的设计 2.5 OLAP技术概述 2.1 进一步深入理解数据仓库的定义 数据仓库之父William H. Inmon给出的定义： ——一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用来支持管理人员做出决策。 数据仓库特点 面向主题 集成 相对稳定 反映历史变化 数据仓库关键特征一：面向主题 主题：是一个抽象的概念，是在较高层次上将企业信息系统中的数据综合、归类并进行分析利用的抽象。 面向主题，是数据仓库显著区别于关系数据库系统的一个特征 围绕一些主题，如顾客、供应商、产品等 关注决策者的数据建模与分析，而不是集中于组织机构的日常操作和事务处理。 排除对于决策无用的数据，提供特定主题的简明视图。 主题划分的实例 “会员制”经营方式的商场，按业务已建立起销售、采购、库存管理以及人事管理子系统。 面向应用数据组织方式 面向主题的数据组织 步骤： 抽取主题 确定每个主题所包括的数据内容 不同主题之间可能有重叠内容 数据仓库关键特征二：集成 一个数据仓库是通过集成多个异种数据源来构造的，在数据进入数据仓库以前，必须经过转换、统一与综合。 数据源：关系数据库，一般文件，联机事务处理记录 数据集成是数据仓库建设中最关键、最复杂的一步。 集成步骤 1.统一源数据(一致) 确保命名约定、编码结构、属性度量等的一致性。 2.综合和计算（转化） 当数据被移到数据仓库时，它们要经过转化 数据仓库关键特征三：相对稳定 数据仓库中的数据主要提供企业决策分析之用，不是用来进行日常的操作的，一般只保留过去的数据，在分析过程中数据仓库中的数据一般不再修改。 操作数据库的更新操作不会出现在数据仓库环境下。 只需要两种数据访问: 数据的初始装载 数据访问（读操作） 数据仓库关键特征四：反映历史变化 数据仓库是从历史的角度提供信息，数据仓库的数据随时间变化。 数据仓库的时间范围比操作数据库系统要长的多 数据仓库中所包含的综合数据经常是按照时间段进行综合，隔一定的时间片进行抽样等重新综合 数据仓库的数据追加就是在数据仓库的数据初装完成后，再向数据仓库输入数据。 2.2 数据仓库的数据组织 数据仓库的数据级别（粒度） 2.2.1 元数据 元数据（Meta Data） ——“关于数据的数据”， ——指在数据仓库建设过程中产生的有关数据源定义、目标定义、转换规则等关键数据，是定义数据仓库对象的数据。 如传统数据库中的数据字典就是一种元数据。 1.元数据在数据仓库中的作用 （1）为决策支持系统分析员和高层决策人员服务提供便利 （2）解决面向应用的操作型环境和数据仓库的复杂关系 2. 元数据的使用 数据仓库开发中 数据源抽取中 数据清理和综合中 元数据实例： 2.2.2 粒度的概念 粒度——是指数据仓库的数据单位中保存数据细化或综合程度的级别。 - 粒度问题是数据仓库的一个最重要概念。 - 粒度的具体划分将直接影响到数据仓库中的数据量以及查询质量。 粒度与信息量和数据量的关系： 示例：在某电讯公司DW中 保存一个顾客一个月内每个电话的细节——高细节级，低粒度级。200个记录。能回答任何问题。 保存一个顾客一个月内每天电话的汇总——轻度综合，较高粒度级。30/31条记录。只能回答汇总查询的问题。 保存一个顾客一个月内的电话的综合。低细节级——高粒度级。一条记录。 DW中数据粒度的确定需要权衡，最佳的解决办法是在DW中采用多重粒度级的形式。 2.2.3 分割 “分割”——是指将数据分散到各自的物理单元中去以便能分别独立处理，以提高数据处理效率。分割后的数据单元称为分片。 为什么进行数据分割？ 对当前细节数据进行分割的总体目的就是把数据划分成有效的物理单元，小的物理单元能为操作者和设计者在管理数据时提供更大的灵活性。 DW的本质之一就是灵活的访问数据，大块数据达不到这个目的。 分割的标准： 数据分割 2.2.4 数据仓库中的数据组织形式 1.简单堆积结构 从面向应用的数据库中每天的数据中提取出来，然后按照相应的主题集成为数据仓库中的记录 2.轮转综合结构 数据存储单元被分为日、周、月、年等几个级别，在每星期的7天中，数据被逐一记录在每日数据集中，然后7天的数据被综合，记录在周数据中，在下一个星期，日数据被重新使用，以记录新数据。同理周数据集达到4个后，数据再一次被综合并记入月数据集……依此类推。 简单堆积与轮转综合的比较 3.简单直接结构 类似