数据仓库技术及其在科学数据库中应用——应用数据仓库技术组织和管理科学数据资源.pdfVIP

数据仓库技术及英在科学数据库中的应用 ——应朋数据仓库技术组织和管理科学数据资源“ 磐旅掌 骂弱 (中搿科学院计算视弼络稿患中心，北京1000S0)(中国民露抗擞擘院话算机系，晨津：蛐0300) 摘要本文分析了传统的数据组织形式无法满足对科学数据库数据资源进行 深墨次嫠发和利用的起题，分拓了数拯奄疼技术争数据集市思想，避而提垂了 到痿数毒蕾仓库争数据象审建立辞学数据库系统数耱串心，分孛心和建库单位秘 思想和初步的系统结构框架． 关键词数据库数据仓库数据集市数据中心 一、Sl言 科学数据库是一个由中科院几十个研究所、数百名科技工作者近20年的共同努力而 建成的含上百个不同数据类型、不同学科的科学数据库专业子库的庞大的、分布式的、异 槐懿数据簿辫。在孛星摹毒学院+五绩患识建设重点项瓣—J‘辩学数攒瘴及其应_籍l系绞” 中，数摆资源建设懿主要隧标是建设国内学科门类齐全的大型科学数攒痒群，使科学数据 库数据总擞达到10TB，专业子库的数量选到300个。 科学数据库的数据资源具有数据海羹化的特点。囱科学数据库建立以来，由予涉 及的学科门类相当多，参与建库的单位包括众多的科研院所，长期以来，不仅积累了 大量重要貔辩碜}数据，瑶怠隧着今嚣辩学数据痒鬏骥瓣进一步扩大器参与建瘁攀搜数 量的增加，数据量将醚惊人的速度增长。科学数据瘁成该傲到将各个建库单位、备个 时期的科研数据信息有机、有序的联骶起来，以保诚信息的高可用性。同时，通过采 用快速综☆处理分析手段，从海量的科研数据中加工熬理出有价值的信息，作为阉家 宏蕊凌燕帮褥学疆定发凌鞫袁涯豹蔹据敬蔫末也姆爨瑷并且会不颧壤羲。 健统瓣数据组绦形式褥无法满是戳t这些薪静需求，主要体瑗谯疆下三个方磁： 1．无法有效地利用大量的历史数据。2．新的需求信息的获取需要同时涉及多学科羊Ⅱ物 理上分布在多个建库单彼的数据资源，传统的数据组织形式难以集成不同系统的数据 瓷源。3．出子辩学数据中一0是建立在集成多学科领域鳇数挺基础之上的，不理包含常嫂髓 数据库、文零、蚕像等静悫羧器轻动态数镶，还包含复杂瓣专盈应瑶系统戆诗算绩暴簿鑫 有动态特征的非常规数搬。而且今后的数据形式肯定还有不断扩展的趋势，传统的数据 组织形式访问数据资源的能力不足，当进行大量的分布式的数据资源访问时性能会明 显下降，撼至报本无法脞任。由此可见，实现科学数据库经济效益茅Ⅱ社会效益最火化 熬关键趣越数据资源翻麓率戆提毫秘撼供走逶戆荣惑麓工提取工其，凝零超题是建妻 实用的、稳效的数据资源的组织和管毽穷式。基于逮方面考虑，本文提出采用数据念 库技术组绒和管理科学数据库的数据资源。 二、数据仓库理论综述 信息处理技术的发展趋势是：从大量的事务型数据库中抽取数据，并将其整理、转化 为新的存储格式，即为决策目标把数据聚合在一种特殊的格式中。随着此过程的发展和完 w犯hou∞，DW)。 善，这种支持决策的、特殊的数据存储即被称为数据仓库(Dam 数据仓库是以更好的支持组织系统的决策分析处理为目的的，面向主题的、集成的、 不可更新的、随时间不断变化的数据集合。 数据仓库是面向主题的。主题是一个抽象的概念，是在更高的层次上将数据库群中的 数据综合、归类并进行分析利用的抽象，它对应的是系统中某一宏观分析领域所涉及的分 析对象。它是在以按照主题进行数据组织的方式下，对分析对象数据的一个完整、一致的 描述，能完整、统一地刻画各个分析对象所涉及的系统中的各项数据。 数据仓库是集成的。数据仓库中的数据是从原有的分散的数据库数据中抽取而来的， 由于源数据在各个分散的数据库中有许多重复和不一致的地方，并且在不同的事务处理系 统中数据都是和不同的应用捆绑在一起的。因此数据仓库中的数据不能从原有的数据库系 统中直接得到，在数据进入数据仓库之前必须要经过统一与综合，一方面要统一源数据所 有矛盾之处如字段的同名异义、同名同义、单位不统一、字长不一致等；另一方面要进行 数据综合与计算，数据综合既可在从原数据库抽取数据时进行，也可以在数据仓库内部进 行，即进入数据仓库后进行综合处理。 数据仓库中的数据是