第1章数据仓库的概念与体系结构摘要.ppt

数据仓库与数据挖掘 数据仓库与数据挖掘 第1章 数据仓库的概念与体系结构 信息化建设-历史数据-如何处理它们？ 删除？备份+删除？其它？ 1.1 数据仓库的概念、特点与组成 数据仓库的概念 数据仓库就是一个面向 主题的（Subject Oriented）+ 集成的（Integrate）+ 相对稳定的（Non-Volatile）+ 反映历史变化的（Time Variant） 数据集合，通常用于辅助决策支持（DDS）。 1.1 数据仓库的概念、特点与组成 数据仓库的特点 面向主题 集成 相对稳定 反映历史变化 1.1 数据仓库的概念、特点与组成 数据仓库的组成 数据仓库数据库 数据抽取工具 元数据：技术元数据与业务元数据 访问工具 数据集市（Data Marts） 数据仓库管理 信息发布系统 1.2 数据挖掘的概念与方法 数据挖掘的概念 数据挖掘(Data Mining)，就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的过程。简单的说，数据挖掘就是从大量数据中提取或“挖掘”知识，又被称为数据库中的知识发现(Knowledge Discovery in Database, KDD) 。 1.2 数据挖掘的概念与方法 数据挖掘的方法 直接数据挖掘 间接数据挖掘 1.2 数据挖掘的概念与方法 数据仓库与数据挖掘的关系 若将数据仓库（Data Warehouse）比作矿井，那么数据挖掘（Data Mining）就是深入矿井采矿的工作 数据挖掘是从数据仓库中找出有用信息的一种过程与技术 1.3 数据仓库的技术、方法与产品 联机事务处理（On-Line Transaction Processing,OLTP）与联机分析处理（On-Line Analytical Processing, OLAP）的比较 2. OLAP技术的有关概念 2. OLAP技术的有关概念 1.3 数据仓库的技术、方法与产品 3. OLAP的分类 根据存储数据的方式OLAP分为： （1）ROLAP 将多维数据集的多维结构划分为两类表： 事实表和维表。星型模式和雪花模式。 （2）MOLAP 以多维数据组织方式为核心来存储数据，例如多维数组。 （3）HOLAP 3. OLAP的分类 1.3 数据仓库的技术、方法与产品 数据仓库实施中的三个关键环节 数据抽取 数据存储与管理 ·面对大量数据的存储与管理 · 并行处理 · 查询优化-位图索引机制 ·支持多维分析的查询模式 数据表现 –数据仓库的展示界面 1.3 数据仓库的技术、方法与产品 数据仓库实施方法论 数据仓库不是简单的数据或产品堆砌，它是一个综合集成解决方案和系统工程。在数据仓库的实施过程中，技术决策至关重要，技术选择或决策错误很可能导致项目实施失败 1.3 数据仓库的技术、方法与产品 常用数据仓库产品比较 常用OLAP工具介绍 SQL Server自带的OLAP相关产品：SSAS、SSIS、SSRS 各数据仓库厂商提供的解决方案 IBM、Oracle、NCR、Microsoft、SAS等 1.4 数据仓库系统的体系结构 数据仓库系统的体系结构的分类 （1）两层架构（Generic Two-Level Architecture） （2）独立型数据集市（Independent Data Mart） （3）依赖型数据集市和操作型数据存储（Dependent Data Mart and Operational Data Store） （4）逻辑型数据集市和实时数据仓库（Logical Data Mart and Real-Time Data Warehouse） 1.4 数据仓库系统的体系结构 1.4 数据仓库系统的体系结构 1.4 数据仓库系统的体系结构 1.4 数据仓库系统的体系结构 1.5 数据仓库的产生、发展与未来 数据仓库的产生 问题？ 联机事务处理系统（业务系统）刚上线时，查询不到数据是因为数据太少了，而几十年后查询不到有关数据是因为数据太多了。 解决方法： 针对这一问题，人们设想专门为业务数据的统计分析建立一个数据中心，它的数据从联机事务处理系统中来、从异构的外部数据源来、或从脱机的历史业务数据中来，这个数据中心也是一个联机系统，它专门为分析统计和决策支持应用服务，通过它可获取决策支持和联机分析应用所需要的一切数据。这个数据中心就叫做数据仓库。 1.5 数据仓库的产生、发展与未来 数据仓库的产生 简单地说，数据