数据仓库-数据集市-BI-数据分析-介绍.ppt

数据仓库介绍 广州市品高软件开发有限公司 1 议程 数据仓库概念及由来 基本概念 产生背景 数据仓库搭建 数据整合 数据建模 数据管控 3. Oracle数据仓库产品介绍 什么是数据仓库 广州市品高软件开发有限公司 3 一个面向主题的、集成的、非易失性的、随时间变化的数据的集合，以用于支持管理层决策过程。 数据仓库的特点 广州市品高软件开发有限公司 4 面向主题：操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概念，是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通常与多个操作型信息系统相关。 集成的：面向事务处理的操作型数据库通常与某些特定的应用相关，数据库之间相互独立，并且往往是异构的。而数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。 相对稳定的：操作型数据库中的数据通常实时更新，数据根据需要及时发生变化。数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。 反映历史变化：操作型数据库主要关心当前某一个时间段内的数据，而数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。 几个相关的概念 广州市品高软件开发有限公司 5 BIBusiness Intelligence,即商业智能，一类由数据仓库（或数据集市）、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应用 数据集市：面向特定主题和部门级的数据仓库，是数据仓库的子集，数据仓库是 提供跨部门的，统一数据视图 OLAP On-Line Analytical Processing是数据仓库系统的主要应用，支持复杂的分析操作 ，侧重决策支持，并且提供直观易懂的查询结果 数据挖掘从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等 OLTP on-line transaction processing，传统的关系型数据库的主要应用，主要是基本的 、日常的事务处理，例如银行交易 数据仓库与OLTP系统的差别 广州市品高软件开发有限公司 6 对比项 OLTP 数据仓库（OLAP） 用户 操作人员、底层管理人员 决策人员，高级管理人员 功能 日常操作处理 分析决策 DB设计 面向应用 面向主题 数据 原始数据、细节性数据、当前值数据、可更新、一次处理的数据量小 导出数据、综合性数据、历史数据、不可更新但周期性刷新，一次处理的数据量大 工作单位 简单的事务 复杂的查询 用户数 上千个 上百个 DB大小 100MB-GB 100GB-TB 数据仓库是怎么产生的 广州市品高软件开发有限公司 7 在数据库技术的支持下，一大批成熟的业务信息系统投入运行，为企业发展做出了巨大贡献。各类信息系统大多属于面向事务处理的OLTP系统，经过多年的运行，积累了大量的数据，而管理决策层对数据分析基础平台的需求却日益强烈。      数据可信性：两个部门提供的数据是不一样的，让管理者无所适从 报表的生产率问题：由于OLTP的单项系统导致数据的分散性和相同元素定义不一致所致不可能把数据转换成信息 数据动态集成问题：不同的需求，要求将操作型环境和分析型环境相分离 历史数据问题：单项系统之间保留的历史数据时间范围不一致，无法满足DSS分析的需要数据的综合问题：非细节数据、多种程度的综合 提升现有的信息：    数据仓库解决的问题 1. 企业范围内的信息共享 2. 准确、一致的集成数据 3. 面向整个企业和最终用户，针对分析需要，进行数据重组，形成一套全新的、相对完整的数据视图，能够进行快速访问，精确、灵活分析  数据仓库之父 广州市品高软件开发有限公司 9 数据仓库之父比尔·恩门（Bill Inmon）在1991年出版的 “Building the Data Warehouse”（《建立数据仓库》 ）一书中所提出的定义被广泛接受 主张使用第三范式进行数据仓库建模 数据仓库领域另外一名重要的人物 广州市品高软件开发有限公司 10 比尔·恩门的对头 　　随着拉尔夫·金博尔（Ralph Kimball）博士出版了他的第一本书“The DataWare