数据仓库技术在档案管理领域应用.docVIP

数据仓库技术在档案管理领域应用 　　摘 要：本文阐述了数据仓库的三种构建策略，提出了一种联合数据仓库的体系结构。 　　关键词：数据仓库 构建策略 体系结构 　　 　　数据仓库是一种面向主题的、集成的、随时间的变化且具非易失性的数据集合。它是对传统数据库技术在站场式数据管理需求下的提升，借助这项技术，不仅可以开展数据信息的知识化管理，将库内各类数据、信息关联起来，建立信息知识库，并按照信息知识的含义，分门别类，达到实现知识应用的目的，同时还可以将档案管理工作中的非数字化信息纳入管理工作的范畴，提高档案的利用率。 　　 　　1　数据仓库的构建策略 　　 　　数据仓库最早是W.H.Inmon于1992年提出的，他指出，数据仓库是面向主题的、集成的、时间变异的、非违约的一系列用于管理和决策制定的数据集。 　　数据仓库按照范围层次的不同，分为企业级全局数据仓库和部门级数据仓库。全局数据仓库在全组织范围内为各个部门提供管理、决策支持，又名中央数据仓库：部门级数据仓库一般只为某个局部范围内的管理人员服务，也称为数据集市。下面介绍数据仓库常见的三种构建策略。 　　 　　1．1　“自底向上”建立数据仓库。“自底向上”建立数据仓库的过程如下：业务系统源数据库――独立数据集市――企业级数据仓库，整个过程分为两个步骤： 　　第一步是从关键的部分开始，先建立部门级数据集市，并不断进行扩充和完善，每个数据集市包含某一特定业务领域的数据。在这一步中，通过ETL流程把业务系统中的数据经过抽取、转换后加载到数据集市，然后通过OLAP工具或数据挖掘工具直接访，问数据集市便可进行信息分析，从而把用于数据分析与决策支持的数据集市与业务处理系统物理上分离，每个数据集市可独立实施来执行数据仓库的职能，因此也称为独立数据集市，但需要指出的是。信息技术人员必须针对每个数据集市设计独立的ETL处理程序，把各业务系统的操作数据按照需要分别转换到相应的独立数据集市中。 　　独立数据集市的优点表现在：一是初期投资较少，并能迅速获取回报；二是就单个数据集市来说。因其数据结构相对较简单，管理比较容易。缺点表现在：一是各数据集市中存在数据不一致的问题，难以直接进行跨数据集市的信息访问，导致出现一个个信息孤岛：二是随着数据集市的增加，系统结构将变得复杂而难以维护，并且系统整体投资迅速增加。因此，如果要以整个企业的视图来分析数据，独立数据集市不是合适的选择。现在，人们在规划数据仓库时已经逐渐转为实施企业级的数据仓库。 　　第二步是当更多的主题加入数据集市时，将这些独立数据集市进行再集成，最终建立的就是企业级数据仓库。通过本步骤的实施虽然能最终解决数据的一致性问题，但缺点为：一是对数据集市的集成难度较大；二是企业级数据仓库本身投资巨大，这会进一步加大系统的整体投资，同时将会导致第一步中对独立数据集市的投资出现浪费现象。 　　 　　1．2 “自顶向下”建立数据仓库。W.H.Inmon曾提出“自顶向下”建立数据仓库的方法，也就是说，先建立一个全局的数据仓库，然后在其基础上建立部门级和个人级的数据集市。 　　ETL流程首先将所有业务处理系统中的数据按照统一的存储模型加载到中央数据仓库，然后再按照各部门特定的需求把相关数据复制到部门数据集市。因为中央数据仓库汇集了来自各业务处理系统的数据，同时也负责向各数据集市提供信息。业务人员在进行数据分析与信息访问时将根据需要连接到不同的数据集市。 　　这种结构的优点是解决了统一数据存储模型和数据一致性的问题，有利于各级数据仓库的一致性的控制。缺点主要体现在三个方面：一是业务人员对信息的访问非常不方便，很难进行跨数据集市之间的信息分析：二是全局数据仓库本身建设规模大，投资巨大，并且实施周期长，见效较慢；三是当数据集市增加时，会使系统整体投资迅速增加，同时管理的复杂性也随之增加。 　　 　　1．3 建立统一的企业级数据仓库。数据集市分为物理与逻辑两种，物理数据集市设立在中央数据仓库之外，具有专门的软硬件设备，一般都使用OLAP服务器，按照特定需求组建多维立方体来提供多维信息分析；逻辑数据集市设立在中央数据仓库之内，由在基础数据之上形成的小结表或者逻辑视图组成，数据集市主要针对粒度较粗、预先定义的分析需求，对于动态的业务查询，粒度较细的或者针对基础数据的分析则不能完成。中央数据仓库采用符合数据库范式理论(一般为第三范式、的存储模型来保存基础数据，从而为整个企业提供一致的信息视图。在中央数据仓库中还设立了一个数据转换与缓冲区，作为ETL处理的一部分。这是因为在很多数据仓库的ETL处理流程中，增加了一个ODS层来进行数据的整理，但这将大大增加整体投资和管理复杂性，理想的方法是，在中央数据仓库中设置一部分存储空间作为数据转换与缓冲区