数据仓库概述和设计..pptVIP

* 数据仓库提纲 数据仓库概念 数据仓库体系结构及组件 数据仓库设计 数据仓库技术（与数据库技术的区别） * 数据仓库体系结构及组件 体系结构 ETL工具 元数据库(Repository)及元数据管理 数据访问和分析工具 * 体系结构 源数据库系统 数据抽取、转换加载 Warehouse Admin. Tools Extract, Transform and Load Data Modeling Tool Central Metadata 数据集市 数据访问与分析 中央数据仓库 Central Data Warehouse Mid- Tier Mid- Tier Data Mart Data Mart Local Metadata Local Metadata Local Metadata Metadata Exchange MDB Data Cleansing Tool Relational Appl. Package Legacy External RDBMS RDBMS * 带ODS的体系结构 源数据库系统 数据抽取、转换、加载 Warehouse Admin. Tools Extract, Transform and Load Data Modeling Tool Central Metadata 数据集市 数据访问与分析 中央数据仓库和ODS Central Data Warehouse Mid- Tier RDBMS Data Mart Mid- Tier RDBMS Data Mart Local Metadata Local Metadata Local Metadata Metadata Exchange ODS OLTP Tools Data Cleansing Tool Relational Appl. Package Legacy External MDB End-User DW Tools * 一个实际的数据仓库的完整架构 数据转换 中央数据仓库 信息展现 业务用户 源数据 数据获取 数据管理 数据使用 项目管理 数据仓库实施指导方法论 业务规划 信息评估 逻辑数据 模型设计 物理数据模型设计 数据库管理 元数据管理 应用开发 顾问咨询 知识转移 营销系统 财务系统 物资系统 PMS系统 抽取 转化 过滤 加载 随即查询 报表 多维分析 数据挖掘 Portal集成 Relational Transformation OLAP Data Mining 数据 集市 企业级EDW 直接用户(客户端) Olap用户 Web用户 应用 服务器 决策者 分析员 研究员 查询人员 * 数据仓库的焦点问题-数据的获得、存储和使用 数据仓库和集市的加载能力至关重要 数据仓库和集市的查询输出能力至关重要 Relational Package Legacy External source Data Clean Tool Data Staging Enterprise Data Warehouse Datamart Datamart RDBMS ROLAP RDBMS End-User Tool End-User Tool MDB End-User Tool End-User Tool * ETL工具 去掉操作型数据库中的不需要的数据 统一转换数据的名称和定义 计算汇总数据和派生数据 估计遗失数据的缺省值 调节源数据的定义变化 * ETL工具体系结构 * 元数据库及元数据管理 元数据分类：技术元数据；商业元数据；数据仓库操作型信息。-[Alex Berson etc, 1999] 技术元数据 包括为数据仓库设计人员和管理员使用的数据仓库数据信息，用于执行数据仓库开发和管理任务。包括： 数据源信息 转换描述（从操作数据库到数据仓库的映射方法，以及转换数据的算法） 目标数据的仓库对象和数据结构定义 数据清洗和数据增加的规则 数据映射操作 访问权限，备份历史，存档历史，信息传输历史，数据获取历史，数据访问，等等 * 元数据库及元数据管理 ? 商业元数据 给用户易于理解的信息，包括： 主题区和信息对象类型，包括查询、报表、图像、音频、视频等 Internet主页 支持数据仓库的其它信息，例如对于信息传输系统包括预约信息、调度信息、传送目标的详细描述、商业查询对象，等 数据仓库操作型信息 例如，数据历史（快照，版本），拥有权，抽取的审计轨迹，数据用法 * 数据访问和分析工具 报表 OLAP 数据挖掘 * 数据仓库设计 自上而下（Top-Down） 自底而上（Bottom Up） 混合的方法 数据仓库建模 * 自上而下设计方法 建立企业数据仓库 通用数据模型 数据重新执行 减少冗