数据仓库体系结构的研究.pdfVIP

数据仓库体系结构的研究 苏俊峰1,2 黄亚楼1 (1.南开大学，信息管理学院，天津 300071） (2.中国银行， 华北信息中心，北京 100071） Email: sjfeng@ 摘要：本文总结了DB-DW、DB-OS-DW和分布式三种典型的数据仓库体系架构，提出了基于逻 辑数据模型的数据仓库建设方法，并研究了存在的相关技术问题。 关键词： 数据仓库 数据集市 ODS 1.引言 数据的爆炸和业务的快速发展，出现了企业的蜘蛛网问题，使得企业数据处理效率降低， 难以将丰富的数据转换为知识；数据操作型处理和分析型处理环境的分离，使企业由以数据 库为中心的环境发展为以数据仓库为中心的环境，出现了数据仓库技术。 2.数据仓库架构 [1] 数据仓库 是面向主题的、集成的、随时间变化的、稳定的数据集合，用于企业的决策 过程,数据仓库是伴随着企业的需要和技术的发展的，其典型的体系架构有以下三种。 2.1 DB-DW架构 数据仓库最典型的架构是DB-DW结构。 [2] 数据仓库典型的建设方法有两种 ：一种是自顶向下，首先建立全局级的数据仓库，然 后从中抽取数据建立面向各个部门的数据集市这种方法，所有数据在进入数据仓库前进行清 洗和转换，能够保证数据的一致性，这种架构一般适用于相对独立集中或规模较小的企业； 另一种是自底向上的建设方法，即首先建立一个或几个数据集市，分布实施现解决企业面临 的局部问题，然后再从个数据集市中抽取数据构建统一的数据仓库。因此形成了两种数据仓 库体系结构DW-DM和DM-DW，其中DM(Data Mart)是数据集市。 2.2DB-ODS-DW架构 [3，4] ODS(Operational Data Store)是用于支持企业日常的全局应用的数据集合 ，ODS解 决企业日常性的问题，只存放当前或近期的数据，同操作型数据库类似，其数据可进行联机 增加、删除、更新等修改，这又有别于数据仓库，数据仓库中数据只是增加，没有修改，因 此这又形成了数据仓库DB-ODS-DW的架构。 2.3分布式数据仓库架构 从技术角度看，集中式的数据仓库为企业提供统一的数据视图，数据一致性可以得到很 好保证，因此许多厂商公司企业都采用集中的数据仓库方案，然构建一个集中数据仓库，不 仅耗时，而且费力，投入很大，产出效益很缓慢，集中式的数据仓库的存取瓶颈和安全性总 究是不容忽视的问题；同时许多大型企业或公司大多采用总分的组织管理模式，即总公司下 设立了分布各地的下属分公司，这种模式不仅是现代企业顺应业务发展和市场要求的选择， 而且也是实行区域差异化发展的基础，再次网络技术和并行处理技术的发展也为数据仓库技 1 术发展提供了空间，由此催生了分布式数据仓库应用架构。 分布式数据仓库应用架构是由总分数据仓库结构组成，分部数据仓库存储对局部决策有 意义的数据，总部数据仓库存储对全局有意义的数据。它将从局部数据仓库和总部的操作环 境中抽取数据。 3．基于逻辑数据模型的架构 实际数据仓库项目建设中，往往存在用户业务需求范围难已确定、需求超前、需求的随 时应变等情况，传统的瀑布式系统开发方法适用于需求确定的开发，但难以适应类似分析型 系统的建设，许多项目也因此导致失败，为此一种体现分而治之，分阶段实施的螺旋式开发 方法应运而生。 螺旋式开发方法将庞大的需求任务目标分成几个阶段，按照问题定义、系统分析、系统 设计、开发、实现、维护和系统总结评估的流程来进行，通过不断扩大开发范围的方式逐步 完善数据仓库系统。逻辑数据模型建立一个统一的、共享的基础数据平台，为各个业务部门 的不同业务需求提供一致的、规范的数据，其结构是为了满足各种不同的分析逻