BI数据仓基础概念.doc

商业智能技术培训 ——BI、数据仓库基础概念 目 录 1 商业智能(Business Intelligence)简介 3 2 数据仓库概念及发展 4 2.1.1 什么是数据仓库 4 2.1.2 数据仓库的关键技术 4 3 在线分析处理（OLAP） 5 4 数据挖掘（Data Mining） 6 1 商业智能(Business Intelligence)简介 随着经济的发展，企业所面临的竞争日益激烈。同时，信息技术的发展也使企业获取信息的手段和渠道也在不断增加，企业所面对的信息浩如烟海。而任何好的决策都需要事实和真实的数据。企业决策的正确程度也取决于所使用的事实和数字的准确程度。另一方面，随着竞争的增加，决策需要在较短的时间内做出。因此，在特定的时间段内，能够尽可能多地获得相关信息就变得越来越关键。而为了使决策具有较好的正确度，却又需要更长的时间。因此，企业需要高效数据分析工具，以减少高速、精确分析大量数据所需时间。 商业智能技术正是一种能够帮助企业迅速地完成信息采集、分析的先进技术。它以数据仓库（Data Warehousing）、在线分析处理（OLAP）、数据挖掘（Data Mining）3种技术的整合为基础，建立企业数据中心和业务分析模型，以提高企业获取经营分析信息的能力，从而提高企业经营和决策的质量与速度。 一、 数据仓库（Data Warehousing） 数据仓库是面向主题的、集成的、稳定的、不同时间的数据集合，用以支持经营管理中的决策制定过程。目的是为了解决在信息技术发展中存在的拥有大量数据、然而有用信息贫乏的问题。它是集成各系统的历史数据而建立的面向主题的企业数据中心，其特点是面向主题、集成性—企业数据框架、历史性和稳定性。 二、 在线分析处理（OLAP） OLAP是一种高度交互式的过程，它能够将原始的数据转化成为真正能够为用户所理解的、真实反映数据维特性的信息，以便分析人员从多种角度对这些信息进行快速、一致、交互地访问和反复的分析从而获得有用信息、达到对数据更深入了解的目的。 在线分析处理同时也是对存储在多维数据库（MDD）或关系型数据库（RDBMS）中的数据进行分析、处理的过程。这种分析可以是多维在线分析处理、关系型在线分析处理，也可以是混合在线分析处理。在线分析处理的特点是灵活、动态、快速的多维分析、可以进行随机查询、产生即席报表。 三、数据挖掘（Data Mining） 数据挖掘是通过数学模型从浩如瀚海的数据和文档中发现以前未知的、隐藏的、潜在的规律和可以理解的信息，以辅助决策的过程。也就是说从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 数据挖掘的特点是涉及数据库、统计分析和人工智能等多种技术，具有预测和验证功能并且能够进行特征和规律的描述。 2 数据仓库概念及发展 2.1.1 什么是数据仓库 业界公认的数据仓库概念创始人W.H.Inmon在《建立数据仓库》一书中对数据仓库的定义是：数据仓库就是面向主题的、集成的、不可更新的(稳定性)、随时间不断变化（不同时间）的数据集合，用以支持经营管理中的决策制定过程。数据仓库中的数据面向主题，与传统数据库面向应用相对应。主题是一个在较高层次上将数据归类的标准，每一个主题对应一个分析领域：数据仓库的集成特性是指在数据进入数据仓库之前，必须对数据加工和集成，这是建立数据仓库的关键步骤，首先要统一原始数据中的矛盾之处，还要将原始数据结构做一个从面向应用向面向主题的转变；数据仓库的稳定性是指数据仓库反映的是历史数据，而不是日常事务处理产生的数据，数据经加工和集成进入数据仓库后是极少或根本不修改的；数据仓库是不同时间的数据集合，它要求数据仓库中的数据保存时限能满足进行决策分析的需要，而且数据仓库中的数据都要标明该数据的历史时期。 数据仓库最根本的特点是物理地存放数据，而且这些数据并不是最新的、专有的，而是来源于其它数据库的。数据仓库的建立并不是要取代数据库，它要建立在一个较全面和完善的信息应用的基础上，用于支持高层决策分析，而事务处理数据库在企业的信息环境中承担的是日常操作性的任务。数据仓库是数据库技术的一种新的应用，而且到目前为止，大多数据仓库还是用关系数据库管理系统来管理其中的数据，例如Oracle8i/9i、DB2、SQL Server SYBASE IQ等。 2.1.2 数据仓库的关键技术 一、 数据抽取 数据抽取又成为ETL（data extraction, transformation and loading），是对数据进行抽取、清洗、转换和整合的过程，是数据进入数据仓库的入口。通过ETL的过程，数据从联机事务处理系统、外部数