海量数据仓库中基于层次的cube存储结构.pdfVIP

海量数据仓库中基于层次的 !#$ 存储结构! 高 宏!。。。 李建中。。。 王日昆。 （。哈尔滨工业大学计算机科学与工程学院 哈尔滨 150001 ） （。。黑龙江大学计算机科学与技术学院 哈尔滨 150086 ） 摘 要 采用层次划分技术，提出了动态环境下基于层次的 cube 存储结构 HC Tree 。它 不但可以有效地支持数据仓库上 cube 的查询与更新，支持 cube 上任一维的动态扩展，而 且具有最小空间代价。 关键词 数据仓库，联机分析处理（ OLAP ）， cube ，区域查询 0 引 言 联机分析处理（ OLAP ）［1］是数据仓库支持决策 分析的关键。 cube ［ 2 ］存储数据仓库中 OLAP 分析使 用的数据，是决策分析的基础。 cube 的存储、查询及 维护一直是一个热点研究问题。 cube 由称为维和度 量的两类属性组成。从多维空间的角度来看，维属 性是多维空间的维度，用来描述度量属性；度量属性 的值用来进行分析处理，是多维空间中的点。令 C = ｛ D 1 ， D 2 ， . . . ， D i ， M ｝表示一个 i- 维 cube ，其 中， M 为度量属性， D i 为第 i 个维属性（ 1 ＄ i ＄ I ）， Dom （ D i ） = ｛ 0 ， 1 ， . . . ， I i - 1 ｝表示 D i 的定义域，则 Dom （ D 1 ） X Dom （ D 2 ） X . . . X Dom （ D i ）称为一个 i- 维空间。 C ［ x 1 ， x 2 ， . . . ， x i ］表示由 x 1 ， x 2 ， . . . ， x i 确定的 c- 维空间中的一个单元， x i 6 Dom （ D i ）。 区域查询是 OLAP 分析中的一个重要操作。它 在 cube 多维空间中某一指定子空间范围内对度量 属性执行聚集操作（如 Sum 等）。若 S = ［ l 1 ， l 2 ， . . . ， l i 1 h 1 ， h 2 ， . . . ， h i ］为 i- 维空间 cube 上的一个子空 间，则 S 上的区域查询可以形式化地表示为 Z h 1 x 1 l 1 Z h 2 x 2 l 2 . . . Z h i x I l i f （ S （ x 1 ， x 2 ， . . . x i ）），其中， f 为聚集函数（如 Sum ）。一个直接 的计算区域查询的方法是逐一访问 子空间 S 中的每个单元，进行聚集 计算。显然，其更新代价为 O （ 1 ）， 而区域查询代价为 I i i 1 （ h i - l i ）。为此，文献［ 3 ］提出 了一种称为 Prefix Sum （简称 PS ）的存储方法，它利用 Prefix cube （简称 PC ）提前计算聚集信息以回答区域 查询。利用 PC 结构可以在 O （ 1 ）时间内完成区域查 询的处理。但是，最坏情况下， i- 维 PC 更新代价却 为 O （ I i）。 如何有效地设计 cube 存储结构，使其既可以提 供快速的区域查询，又能够有效地降低更新代价，这 一问题引起了研究者的极大兴趣。近几年，很多人 在这方面开展研究并取得了卓有成效的成果［4-9］。 这些工作的主要思想是引入一些辅助结构，例如 ReIative Prefix cube （简称 RPC ）存储结构，使得在保 证查询效率的前提下，尽量降低 cube 的动态更新代 价。然而，这些工作都存在一定的局限性，尤其是常 常以过多额外的存储空间为代价，来达到降低区域 查询与更新的复杂性的目的。还有就是在现实环境 下， cube 中的数据往往是稀疏的，且分布不均匀，在 某一些局部区域，数据可能很密集，而在另一些区域 数据非常稀少，甚至没有数据。但现有的工作很少 考虑 cube 数据的这种分布特性，因而不仅造成不必 要的存储空间的浪费，而且也影响了算法的查询效 率。在许多实际应用中， cube 中数据每天动态更新 量以 G 数量级增长，不考虑数据的分布特性，无疑 会给数据仓库系统带来极大的存储与维护负担。 本文提出了一种新的基于层次的 cube 存储结 构 HierarchicaI-baSec cube Tree （ HC Tree ）。在不增 加额外存储空间的前提下，保证了区域查询与动态 更新的代价均为 O （ Iog i I ）。与已有的工作相比，其 — 35 — 高 宏等：海量数据仓库中基于层次的 cube 存储结构 # ! 联系人。 （收稿日期： 2002-07-16 ） 女， 1966 年生，博士，副教授；研究方向：数据库、数据仓库（ DW ）。 863 计划（ 2001AA415410 ）资助项目。 在不影响区域查询与动态更新性能的前提下，将额 外存