数据仓库--课件.pptVIP

数据仓库 一、基本概念随着数据库技术的应用普及和发展，人们不再仅仅满足于一般的业务处理，而对系统提出了更高的要求：提供决策支持。 何谓数据仓库一种面向分析的环境；一种把相关的各种数据转换成有商业价值的信息的技术。 1、从数据库到数据仓库数据库系统能够很好的用于事务处理，但它对分析处理的支持一直不能令人满意。特别是当以业务处理为主的联机事务处理（OLTP） 应用和以分析处理为主的DSS应用共存于一个数据库系统时，就会产生许多问题。例如，事务处理应用一般需要的是当前数据，主要考虑较短的响应时间；而分析处理应用需要是历史的、综合的、集成的数据，它的分析处理过程可能持续几个小时，从而消耗大量的系统资源。人们逐渐认识到直接用事务处理环境来支持DSS是行不通的。要提高分析和决策的有效性，分析型处理及其数据必须与操作型处理及其数据分离。必须把分析型数据从事务处理环境中提取出来，按照DSS处理的需要进行重新组织，建立单独的分析处理环境。数据仓库技术正是为了构建这种新的分析处理环境而出现的一种数据存储和组织技术。 操作型数据 分析型数据 细节的 综合的，或提炼的 在存取瞬间是准确的 代表过去的数据 可更新 不更新 操作需求事先可知道 操作需求事先不知道 生命周期符合SDLC 完全不同的生命周期 对性能要求高 对性能要求宽松 一个时刻操作一个单元 一个时刻操作一个集合 事物驱动 分析驱动 面向应用 面向分析 一次操作数据量小 一次操作数据量大 支持日常操作 支持管理需求 数据仓库的定义及特征数据仓库理论的创始人W.H.Inmon在其《Building the Data Warehouse》一书中，给出了数据仓库的四个基本特征：面向主题，数据是集成的，数据是不可更新的，数据是随时间不断变化的。 3、数据仓库中的数据组织数据仓库中的数据分为四个级别：早期细节级，当前细节级，轻度综合级，高度综合级。 1985~1998年 销售明细表 1998~2003年 销售明细表 1998~2003年 每月销售表 1998~2003年 每季度销售表DW中还有一类重要的数据：元数据（metedata）。元数据是“关于数据的数据”（RDBMS中的数据字典就是一种元数据）。数据仓库中的元数据描述了数据的结构、内容、索引、码、数据转换规则、粒度定义等。 4、数据仓库系统结构 RDBMS 数据文件 其他 综合数据当前数据历史数据元数据抽取、转换、装载 数据仓库 OLAP工具 DM工具查询工具 分析工具 二、数据仓库设计数据仓库的设计分为如下三个阶段：数据仓库建模分析主题域确定粒度层次确定数据分割策略构建数据仓库数据的存储结构与存储策略DSS应用编程三、操作数据存储（ODS ）在许多情况下，DB-DW的两层体系结构并不适合企业的数据处理要求。因为，虽然可以粗略地把数据处理分成操作型和分析型，但这两种处理处理并不是泾渭分明的。ODS（Operational Data Store）作为一个中间层次，一方面，它包含企业全局一致的、细节的、当前的或接近当前的数据，另一方面，它又是一个面向主题、集成的数据环境，适合完成日常决策的分析处理。 四、数据仓库的实现数据仓库的工具主要有：数据预处理工具，数据分析（ OLAP ）工具，数据挖掘工具，OLAP服务器。数据仓库和OLAP工具基于多维数据模型（在数据仓库中，通常以多维方式来存储数据。 ）。 基本概念维：人们观察数据的特定角度。维的层次：人们观察数据的特定角度可能存在细节程度不同的多个描述方面，我们称其为维的层次。 多维分析的基本动作切片，旋转，上卷，下钻。 Sales volume as a function of product, month, and region Product Region Month Dimensions: Product, Location, Time Hierarchical summarization paths Industry RegionYear Category Country Quarter ProductCityMonth WeekOfficeDay Total annual sales of TV in U.S.A. Date Product Country sum sum TV VCR PC 1Qtr 2Qtr 3Qtr 4Qtr U.S.A Canada Mexico sum 产品销售情况 某年某月产品销售情况 选定两个维：产品维和地区维 时间维 数据切片 产品维 地区维 产品维 地区维 基于RDBMS的数据仓库实现关系数据库将多维数据库中的多维结构分为两类：一类是事实表，用来存储事实的度量值