第四章 数据仓库的建立和维护.pptVIP

螺旋式开发 将一个庞大的任务划分成多个阶段； 在每一个阶段中，按照问题定义、系统分析、开发、实现、维护和系统评估来进行； 一个阶段完成后，开始新的阶段，每个阶段都以前一阶段的结果为参考点，再新增新的需求项目，直到所有的需求都满足为止。 本方法适合数据仓库系统的开发。 * 第五章 数据仓库的建立和维护 数据仓库的开发 数据仓库的建立过程 数据仓库的开发方法 数据仓库的维护 提高数据仓库性能 数据仓库的安全性 * 运行维护的任务 理解需求、完善系统 刷新当前详细数据、清除过时数据和休眠数据、调整粒度级别、改进系统设计 在DW中建立DSS应用 DSS应用开发的特点 从数据出发 不断循环过程（启发式开发） DSS应用分类 例行分析处理—部门级 启发式分析处理—个人级（即席分析处理） * 运行维护 * 数据仓库的维护过程中须考虑的问题 数据周期 参照完整性 数据环境信息 数据备份与恢复 * 数据周期 从操作型环境中的数据发生变化到这种变化被反映到数据仓库中，需要一定的延迟时间，这个延迟时间就是“数据周期” * 提高数据仓库性能 提高I/O性能 缩小查询范围 采取并行优化技术 选择适当的初始化参数 * 提高I/O性能 合并表 建立数据序列 引入冗余 生成导出数据 * * 决策支持阶段-信息查询 创建数据阵列 将相关的数据（每月的数据）放在同一个物理位置上。 预连接表格 对于两个或多个表格共享一个公用链。 预聚集数据 以每天为基础存储数据。在一周结束时，以每周为基础存储数据（即累加每天的数据）。月末时，则以每月为基础存储数据。 聚类数据 聚类将数据放置在同一地点，这样可以提高对聚类数据的查询。 合并表 当有许多表时，动态连接需要进行大量的I/O * 合并表 表在物理上合并之后，只需要较少的I/O * 数据数组 在适合的情况下，创建数据数组可以提高性能，节省资源?? 数列中值的数量稳定?? 数值按顺序访问 创建与修改有规律 * 数据数组举例 保险业环境中保险金的粒度级别?? 保险金支付记录数量很少，没必要用双重粒度 保险金记帐有规律，可以创建数据数组 * 引入冗余 一项数据属性（主外码不算此类）存在于多个关系模式中 例如：在采购表/销售表中增加商品名称、商品类型等 提高了性能，省去了Join操作 * 引入冗余 尽管描述信息冗余，但很少更新，提高了查询性能 * 导出数据 事先在源数据基础上，进行汇总或计算，生成导出数据导出数据，只计算一次就可以永久使用了 * 缩小查询范围 划分粒度 分割数据表 建立索引 * 提高数据粒度的方法 当源数据放入数据仓库时，对它进行汇总 当源数据放入数据仓库时，对它求平均或进行计算 把最大/最小的一组值放入数据仓库 只把显然需要的数据放入数据仓库 用条件逻辑选取记录的一个子集放入数据仓库 * 数据仓库的设计就是在概念模型、逻辑模型和物理模型的依次转换过程中实现的。作为数据仓库的灵魂——元数据模型则自始至终伴随着数据仓库的开发、实施与使用。数据粒度和聚集模型也在数据仓库的创建中发挥着指导的作用，指导着数据仓库的具体实现。 现实世界 概念模型 逻辑模型 物理模型 数据仓库 元数据模型 数据粒度和聚集模型 * 数据分片：选择分片的标准 选择分片的标准 数据量的大小（而非记录行数） 数据分片处理的对象的特征以及属性之间的相关性 例如：商品按类和时间作为分片的标准 供应商按地区和时间作为分片的标准 易于实现（实施） 例如：按时间、业务类型 与粒度划分策略统一起来 例如：按时间于商品类对销售数据进行综合（粒度划分） 每一粒度再按时间与商品类进行分片，分片后仍便于做高度综合。 * 数据分片：数据分片的策略 对于给定的磁盘个数，进行数据分片的方法 范围分片：利用属性值的范围进行数据分片 优点：数据逻辑比较清楚 缺点：导致数据分配的不平衡 循环轮转法：按照一定顺序，依次存放各个数据。数据分配均匀。 Hashing方法：利用Hash函数。数据分配均匀。 * 采取并行优化技术 数据的抽取/综合 数据的写入 数据的查询 不同查询并行 查询内并行 * 选择适当的初始化参数 初始化参数：如并发用户数 数据压缩 清除无用数据 * 数据仓库的安全性 安全类型 个体 组 层次 集成 安全方法 外部安全 内部安全 数据加密 结构化加密 分区加密 不同粒度级别的安全性 * 1: 请回答出数据仓库的定义??2：数据仓库中的多维模型最常用的是哪种？? ?A: SNOWFLAKE MODEL? ?? ? B: STAR MODEL? ?C: E-R MODEL? ?? ?? ?? ? D: TREND MODEL? ?4:关于OLTP系统不适合于分析报表的原因，以下哪项是错误的?