数据仓库系统的体系结构.docVIP

体系结构 数据源 　　是数据仓库系统的基础，是整个系统的数据源泉。通常包括企业内部信息和外部信息。内部信息包括存放于RDBMS中的各种业务处理数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息等等； 数据的存储与管理 　　是整个数据仓库系统的核心。数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库，同时也决定了其对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技术特点着手分析。针对现有各业务系统的数据，进行抽取、清理，并有效集成，按照主题进行组织。数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库（通常称为数据集市）。 OLAP(联机分析处理)服务器 　　对分析需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发现趋势。其具体实现可以分为：ROLAP（关系型在线分析处理）、MOLAP（多维在线分析处理）和HOLAP（混合型线上分析处理）。ROLAP基本数据和聚合数据均存放在RDBMS之中；MOLAP基本数据和聚合数据均存放于多维数据库中；HOLAP基本数据存放于RDBMS之中，聚合数据存放于多维数据库中。 数据仓库系统的体系结构 数据仓库系统通常是对多个异构数据源的有效集成，集成后按照主题进行重组，包含历史数据。存放在数据仓库中的数据通常不再修改，用于做进一步的分析型数据处理。数据仓库系统的建立和开发是以企事业单位的现有业务系统和大量业务数据的积累为基础的。数据仓库不是一个静态的概念，只有把信息适时的交给需要这些信息的使用者，供他们做出改善业务经营的决策，信息才能发挥作用，信息才有意义。因此，把信息加以整理和重组，并及时提供给相应的管理决策人员是数据仓库的根本任务。数据仓库的开发是全生命周期的，通常是一个循环迭代的开发过程。一个典型的数据仓库系统通常包含数据源、数据存储和管理、OLAP服务器以及前端工具与应用四个部分。1、 数据源数据源是数据仓库系统的基础，即系统的数据来源，通常包含企业（或事业单位）的各种内部信息和外部信息。内部信息，例如存于操作型数据库中的各种业务数据和办公自动化系统中包含的各类文档数据；外部数据，例如各类法律法规、市场信息、竞争对手的信息以及各类外部统计数据及其它有关文档等。2、 数据的存储与管理数据的存储与管理是整个数据仓库系统的核心。在现有各业务系统的基础上，对数据进行抽取、清理、并有效集成，按照主题进行重新组织，最终确定数据仓库的物理存储结构，同时组织存储数据仓库的元数据（包括数据仓库的数据字典、记录系统定义、数据转换规则、数据加载频率以及业务规则等信息）。按照数据的覆盖范围和存储规模，数据仓库可以分为企业级数据仓库和部门级数据仓库。对数据仓库系统的管理也就是对其相应数据库系统的管理，通常包括数据的安全、归档、备份、维护和恢复等工作。3、 OLAP服务器OLAP服务器对需要分析的数据按照多维数据模型进行重组，以支持用户随时从多角度、多层次来分析数据，发现数据规律与趋势。如前所述，OLAP服务器通常有如下3种实现方式：（1） ROLAP基本数据和聚合数据均存放在RDBMS之中（2） MOLAP基本数据和聚合数据存放于多维数据集中（3） HOLAP是ROLAP与MOLAP的综合，基本数据存放于RDBMS之中，聚合数据存放于多维数据集中。4、 前端工具与应用前端工具主要包括各种数据分析工具、报表工具、查询工具、数据挖掘工具以及各种基于数据仓库或数据集市开发的应用。其中，数据分析工具主要针对OLAP服务器；报表工具、数据挖掘工具既可以用于数据仓库，也可针对OLAP服务器。数据仓库系统的体系结构根据应用需求的不同，可以分为以下4种类型：1、 两层架构（generic two-level architecture）2、 独立型数据集市（independent data mart）3、 依赖型数据集市和操作型数据存储（dependent data mart and operational data store）4、 逻辑型数据集市和实时数据仓库（logical data mart and real-time data warehouse）独立的数据仓库体系结构通常的数据仓库是两层体系结构，如图所示，构造这种体系结构需要以下4个基本步骤：1、 数据是从各种内外部的源系统文件或数据库中抽取得到。在一个大的组织中，可能有几十个甚至几百个这样的文件和数据库系统2、 不同源系统中的数据在加载到数据仓库之前需要被转换和集成。甚至可能需要发送一些事务信息到源系统中，以纠正在数据分段传输中发现的错误。3、 建立为决策支持服务的数据库，即数