daba warehouse a 数据仓储与数据挖掘 知识介绍.pptVIP

* 建设多级数据仓库：自顶向下 / 自底向上 数据集市的概念：自底向上建设多级数据仓库 从最关心的部分开始，先以最少的投资, 完成企业当前需 求, 获取最快的回报，然后再不断扩充, 不断完善 数据集市：部门级数据仓库 小型的、面向部门或工作组 数据集市组织：一般以业务的分类来组织 数据仓库的主题来组织 数据的地理分布来组织（分布式数 据仓库） ? 4.2 数据集市（Data Mart） * 数据仓库中的数据存在着不同的综合级别 早期细节级 当前细节级 轻度综合级 高度综合级 粒度：数据的不同综合级别 粒度越大、表示细节程度越低、综合程度越高。 级别的划分是根据粒度进行的 数据仓库中的数据组织 * 数据仓库的数据组织结构的一个例子 高度综合级 轻度综合级 当前细节级 早期细节级 1990-2004年 每月销售表 1996-2004年 每周销售表 1996-2004年 销售情况表 1990-1995年 销售明细表 数据仓库中的数据组织 * 元数据(metadata) ： 关于数据的数据? 第一种：从操作型环境向数据仓库环境转换而建立的元数据。包含：所有源数据项名、属性及其在数据仓库中的转换 第二种：与终端用户的多维商业模型／前端工具之间建立映射的DSS元数据 数据仓库中的元数据 * 3.1数据仓库中的数据组织 3.2 粒度与分割 3.3 数据仓库的数据组织形式 3.4 数据仓库的数据追加 3 数据仓库中的数据组织 * 粒度 分割 3.2 粒度与分割 * 粒度分为两种形式： 对数据仓库中的数据的综合程度高低的一个度量 粒度越小，细节程度越高，综合程度越低 粒度大小影响数据仓库效率、能回答询问的种类 “张三在某时某地是否给李四打过电话？” “张三去年共打了几次长途电话” “某地区今年长途与普通电话费用之比” “今年长途／普通电话费用增长率” “预测未来长途／普通电话费用变化趋势” 数据仓库是多粒度的，不同的粒度回答不同的查询 1. 粒度 * 2) 样本数据库? 根据采样率的高低来划分粒度：以一定的采样率从细节数据或轻度综合数据中抽取的一个子集 用处：代替源数据进行模拟分析 抽样的方法：随机抽取 优点： 高效率 源数据量很大的情况下，抽样数据可以大大下降， 分析结果误差极小 有助于抓住主要因素和主要矛盾 1. 粒度 * 实际：两种形式的粒度都存在 例：“商品”主题表的划分： 销售综合表和采购综合表是属于第一种形式的粒度 （时间段上信息的综合） 库存信息的不同表：则属于第二种形式粒度划分 （不同时点上的粒度） 1. 粒度 * 分割：指将数据分散到各自的物理单元中去以便能分别独立处理 分片：数据分割后的数据单元 分割的目的：提高效率 例如：对于某种相关性的数据集合的分析是最常见的 将具有相关性的数据组织在一起,会提高效率 2. 分割 * 分割标准：根据实际情况确定 1 易于重构、索引、重组、恢复、监控和顺序扫描 2 按日期、地域或业务领域 3 按多个分割标准的组合 例子： ? 健康保险 生命保险 事故保险 1988 分片1 分片2 分片3 1989 分片4 分片5 分片6 1990 分片7 分片8 分片9 2. 分割 * 3.1 数据仓库中的数据组织 3.2 粒度与分割 3.3 数据仓库的数据组织形式 3.4 数据仓库的数据追加 3 数据仓库中的数据组织 * 简单堆积文件 它将由数据库中提取并加工的数据逐一积累存储 轮转综合文件 数据存储单位被分为若干个级别 轮转记录--综合 优点：结构简捷，数据量较简单堆积结构减少 缺点：损失数据细节。越久远的数据，细节损失越多 3.3 数据仓库的数据组织形式 * 一月一日 一月二日 一月三日 第 1日 第 2日 第 31日 二月一日 二月二日 二月三日 第1月 第2月