并行数据仓库paraware系统的多维数据管理技术计算机应用技术专业论文.docxVIP

并行数据仓库PARAWARE系统的多维数据管理技术：摘要摘要 并行数据仓库PARAWARE系统的多维数据管理技术：摘要 摘要 本文论述我们自行研究开发的一个并行数据仓库系统PARAWARE的核心技术——多 维数据的存储、查询和维护技术的理论研究和系统实现。 本文共分四个部分。第喑B分介绍了数据仓库和联机分析技术的产生与发展，介绍 PARAWARE系统研制的背景和它的整体系统结构，给出了本文的研究内容和创新点。 本文第二部分主要介绍PARAWARE的多维数据存储和索引策略。常用的多维数据存储 方式有两种：关系表方式(ROLAP)或多维数组方式(MOLAP)。ROLAP在数据的存储容量、 适应性上占有优势，但其数据存取较MOLAP复杂。MOLAP存储效率高、访问速度快。但 是，它存在着数据稀疏和各个维访问速度不对称两个致命问题。PARAWARE系统采用了将 ROLAP和MOLAP两种存储方式相结合的混合存储模式，借助于一种分层编码的bitmap 索引，充分利用了二者的优点、克服了它们的缺点，在节约存储空间的同时，提高了查 询的效率。 最近兴起的语义数据方体存储技术将具有相同性质的数据元素压缩存放在一起，大 大缩减了数据方体的存储空间，但是它只适合于存储分布型和代数型聚集函数，而对于 整体型聚集函数例如Med Jan，如果采用这种存储方式存储的话，维护的时候需要存储所 有的历史数据并对他们进行排序，代价昂贵。因此，PARAWARE针对整体型聚集函数，提 出了一种新的数据存储方法一Addset语义存储方法。该方法不但进一步缩减了数据方体 的存储空间，同时提高了整体型聚集函数的维护效率。 本文的第三部分介绍PARAWARE的查询处理和优化子系统。根据数据仓库中数据的多 维性特点，PARAWARE采用微软定义的多维表达式(MDX)作为系统的查询语言。相对于 OLTP应用来说，OLAP分析型应用的查询要复杂许多。为了得到真正的联机处理性能， PARAWARE采用了针对分析型应用的的如下查询处理技术：(1)将一个MDX查询分解为多 个子查询，每个子查询对应一个底层实体化视图：(2)对每个子查询进行单独处理，选 择合适的实体化视图对它进行回答；(3)将各个子查询的查询结果进行组装后返回给前 端用户。 由于数据仓库系统中数据组织(如采用多维存储)和查询类型(如采用MDX查询语 言、在不同维不同层上进行聚集操作)的特殊性，传统的关系数据库查询优化技术不能 在OLAP环境中直接加以应用。为保证分析型应用的联机高性能，PARAWARE采用了如卜| 查询优化技术：(1)基于实体化视图的多查询优化；(2)识别和提取公共子查询；(3) 基于语义数据块的查询结果缓存和基于知识的缓存数据淘汰技术。 第四部分介绍PARAWARE的增量维护子系统。主要针对语义存储结构，借助传统的 Galois格理论，捕捉了不同类型等价类的特征并提出了确切的维护策略。针对分布型和 代数型聚集函数，提出了两种有效的增量维护算法，一种是单元组增加的方法，另一种 是批量增加的方法。针对整体型聚集函数，提出了一种滑动窗口技术，该技术和Addset 中国科学院博士学位论文一并行数据仓库PARAwARE系统的多维数据管理技术语义存储结构相结合，有效地缩减了维护整体型聚集函数所需要的运行时问。 中国科学院博士学位论文一并行数据仓库PARAwARE系统的多维数据管理技术 语义存储结构相结合，有效地缩减了维护整体型聚集函数所需要的运行时问。 关键词：并行数据仓库，多维数据存储，查询处理和优化，多维表达式，增量维护，滑 动窗口 并行数据仓库PARAWARE系统的多维数摧管理技术：hbstractTechniques 并行数据仓库PARAWARE系统的多维数摧管理技术：hbstract Techniques of Multidimensional Data Storage，Query and Maintenance in PARAWARE System Li Cuiping(Computer Appl ication Technology) Directed By Professor Wang Shan ThiS dissertation addresses techniques of multidimensional data storage， query and maintenance in a parallel data warehouse system named PARAWARE，which is designed and implemented completely by ourselves， This dissertation is composed of four parts． In pa