第4章数据仓库设计精选.pptVIP

第4章 数据仓库设计 4.1 数据仓库设计的特点 4.2 体系结构化准则 4.3 模型选取 4.4 开发模式 4.5 数据仓库设计步骤 4.6 提高数据仓库的性能 4.1数据仓库设计的特点 4.1数据仓库设计的特点 4.1数据仓库设计的特点 生命周期法SDLC 4.1数据仓库设计的特点 CLDS方法 CLDS方法设计过程 4.1数据仓库设计的特点 4.2 体系结构化准则 4.2 体系结构化准则 4.3 数据仓库的模型选取 4.3 数据仓库的模型选取 4.3 数据仓库的模型选取 4.3 数据仓库的模型选取 4.3 数据仓库的模型选取 4.3 数据仓库的模型选取 4.3 数据仓库的模型选取 4.4 数据仓库的开发模式 4.4 数据仓库的开发模式 4.4 数据仓库的开发模式 (1)概念模型设计 界定系统边界：了解决策类型、哪些问题、需要什么信息、数据源 确定主要的主题域 ：公共键码、域联系 (2)技术准备工作 技术评估：大数据量的能力、灵活存取能力、重组数据能力、数据发送接收装载能力 环境的准备：软硬件需求，从存储、通信、OS、DBMS、分析工具、管理数据仓库的软件 (3)逻辑模型设计：确定要装载的主题、粒度层次划分、数据分割策略、关系模式定义和记录系统定义 (4)物理模型设计 确定数据的存储结构、索引策略、数据存放位置和存储分配 (5)数据仓库生成 设计接口和将数据装入 (6)数据仓库运行与维护 开发决策支持系统DSS的应用；进一步理解需求，调整和完善数据仓库系统，维护数据仓库 4.6 提高数据仓库的性能 粒度划分 （1）第1步—估算 对每一表，计算1行所占字节数的最大值和最小值； 统计在一年内可能出现的数据行的最大行数和最小行数； 统计在五年内可能出现的数据行的最大行数和最小行数； 计算每个表的码所占的字节数。 直到计算完所有表。 （2）确定粒度的划分 一般情况下，数据行数越多、所需占用的空间越大，粒度划分的级别就需要越多。 分割 （1）数据库中的数据分片概念：水平分片、垂直分片、混合分片和导出分片。 （2）按时间进行数据分割是最普遍的 （3）分割标准 考虑：数据量、数据分析处理的实际情况、简单易行以及粒度划分策略等几方面因素。 其他设计问题 （1）合并表 （2）建立时间序列 （3）引入冗余 （4）表的物理分割 （5）生成导出数据 （6）建立广义索引 * * DW是一个面向分析处理的数据环境，其中的数据是面向主题的、集成的、不可更新的、随时间变化的，从数据组织到处理与面向应用系统的MIS有较大区别 数据仓库系统设计与数据库系统设计的不同 处理类型不同：面向分析，从最基本主题开始，不断完善发展 需求不同：问题不固定，处理的模式也因人而异，很难获得用户的确切需求 设计目标不同：建立一个满足4个基本特征的全局一致的企业数据环境。 系统设计的方法和步骤不同：SDLC、CLDS 生命周期法设计过程 数据驱动：从已有数据出发的数据仓库设计方法称为“数据驱动”的系统设计方法。 利用以前所取得的工作成果:识别当前系统设计与已做工作的“共同性”。即有什么、有什么影响，尽可能利用已有的数据和代码 不再是面向应用，利用现有的系统和数据资源，考虑数据之间关系，组织数据仓库的主题 构建数据仓库是一个长期的任务。数据仓库的需求是在建造数据仓库的过程中逐步明确的。因此，与面向应用的操作型数据库设计不同，数据仓库的设计是面向数据的，在启发方式下，贯穿于整个数据仓库实施过程中。 数据仓库是一个包含多种数据处理技术的体系，因此在构建数据仓库之初，首先应确定建设标准与规范，即体系结构化的准则。 设立核心管理机构，负责建立和修改体系结构化的标准，确定相关概念和技术，选取数据模型 元数据作为数据仓库的核心。 采用数据驱动的设计思想，以数据流引领处理流 确定多种应用的技术平台，制定多平台互操作的统一标准。 程序设计使用标准组件。 依据软件工程和数据工程的思想，使用标准化的开发方法。 从操作型数据开始，遵循面向主题原则，逐步装载数据。 数据模型是给定环境下的数据的抽象或表示。数据模型由实体、属性和联系组成。 无论选用何种数据模型建造数据仓库，首先应围绕数据仓库的目标和基本特征，其次再考虑企业的近期和长期需求。