数据仓库要点解析.pptVIP

* * 什么是数据仓库? ---W.H.Inmon 数据仓库就是面向主题的、集成的、稳定的、不同时间的数据集合,用以支持经营管理中的 决策制订过程。 数据仓库的定义 数据仓库是指来自于异地、异构的数据源或数据库的数据加工后在数据仓库中存储、提取和维护；它是一种体系结构，是一种语义一致的数据存储，以满足不同的数据存取、文档报告的需求 数据仓库的特征 1.数据仓库是面向主题的 2.数据仓库是集成的 3.数据仓库是稳定的 4.数据仓库是随时间变化的 主题是一个在较高层次将数据归类的标准,每一个主题基本对应一个宏观的分析领域 统一原始数据中的所有矛盾之处,如字段的同名异义、异名同义、单位不统一、字长不一致,等等 它反映的是历史数据的内容,而不是处理联机数据。 因而,数据经集成进入数据库后是极少或根本不更新的 数据仓库内的数据时限要远远长于操作型环境中的数据时限 操作型环境包含当前数据,即在存取一刹那是正确、有效的数据; 而数据仓库中的数据都是历史数据。 数据仓库数据的码键都包含时间项,从而标明了该数据的历史时期 数据仓库项目流程管理及系统性能管理和监控 OLTP 数据源 数据仓库 数据集市 数据采集及整合 数据的映射规则、模型 。。。 （元数据管理） 数据展现及决策 生产 财务 结算 外部 地区 分析 总量 分析 市场 分析 E T L 数据分析、DM 终端用户 终端用户 数据仓库体系结构 数据仓库的结构 早期细节级 当前细节级 轻度综合级 数据集市 高度综合级 元数据 操作型转换 体系结构 数据源 　　是数据仓库系统的基础，是整个系统的数据源泉。通常包括企业内部信息和外部信息。内部信息包括存放于RDBMS中的各种业务处理数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息等等； 数据的存储与管理 　　是整个数据仓库系统的核心。数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库，同时也决定了其对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技术特点着手分析。针对现有各业务系统的数据，进行抽取、清理，并有效集成，按照主题进行组织。数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库（通常称为数据集市）。 OLAP(联机分析处理)服务器 　　对分析需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发现趋势。其具体实现可以分为：ROLAP（关系型在线分析处理）、MOLAP（多维在线分析处理）和HOLAP（混合型线上分析处理）。ROLAP基本数据和聚合数据均存放在RDBMS之中；MOLAP基本数据和聚合数据均存放于多维数据库中；HOLAP基本数据存放于RDBMS之中，聚合数据存放于多维数据库中。 前端工具 主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具以数据挖掘及各种基于数据仓库或数据集市的应用开发工具。其中数据分析工具主要针对OLAP服务器，报表工具、数据挖掘工具主要针对数据仓库。 构造模式: 星型模型 ( Star Schema ) / 雪花模型 ( Snow Schema ) 数据仓库历史 1.1981年NCR公司（national cash register corporation）为Wal mart 建立了第一个数据仓库，总容量超过101TB(十年的会计文档还不足1TB) 2.商务智能的瓶颈是从数据到知识的转换。1979年， 一家以决策支持系统为已任、致力于构建单独的数据存储结构的公司Teradata诞生了。Tera，是万亿的意思，Teradata的命名表明了公司处理海量运营数据的决心。1983年，该公司利用并行处理技术为美国富国银行（Wells Fargo Bank）建立了第一个决策支持系统。这种先发优势令Teradata至今一直雄居数据行业的龙头榜首。 3. 1988年，为解决企业集成问题，IBM公司的研究员Barry Devlin和Paul Murphy创造性的提出了一个新的术语：数据仓库（Data Warehouse） 4.1992年，比尔·恩门（Bill Inmon）出版了《如何构建数据仓库》一书，第一次给出了数据仓库的清晰定义和操作性极强的指导意见，真正拉开了数据仓库得以大规模应用的序幕。 5.1993年，毕业于斯坦福计算机系的博士拉尔夫·金博尔，也出版了一本书：《数据仓库的工具》（The Data Warehouse Toolkit），他在书里认同了比尔·恩门对于数据仓库的定义，但却在具体的构建方法上和他分庭抗礼。最终拉尔夫金博尔尔由下而上，从部门到企业的数据仓库建立方式迎合人们从易到难的心理，得到了长足的发展。 6.1996年，加拿大的IDC（inter