分布式数据仓库中预聚集数据的一致性维护策略研究计算机应用技术专业论文.docxVIP

沈阳航空工业学院硕士学位论文摘要 沈阳航空工业学院硕士学位论文 摘要 随着数据仓库应用范围的不断扩大，集中式数据仓库环境已不能满足用户的需求， 分布式数据仓库技术应运而生。分布式数据仓库中的数据大多来源于多个分散、异构及 自治的底层业务数据库，其信息往往以实视图的形式分布存储在多个结点上，其中，预 聚集数据是实视图的一个重要组成部分。预聚集数据的存在，加快了查询响应速度，大 大提高了数据仓库的性能。然而，底层数据库中的数据是不断变化的，为使分布式数据 仓库中的预聚集数据能够同步反映数据源的变化，必须对其进行及时维护。 在介绍分布式数据仓库及预聚集数据相关知识的基础上，分析了脱机维护和联机维 护存在的不足，扩展了动态增量维护算法的应用范围，提出了基于分布式数据仓库的动 态增量维护的模型及算法，分别在各分布站点上设置两级视图，辅助实现视图的增量维 护，取得了较好的效果。 作为聚集数据的组织形式之一——数据立方体是二维表格的多维扩展。数据立方体 的形成过程就是数据聚集的过程，对聚集数据的维护可以转化为对数据立方体的维护。 在介绍多维结构及数据立方体的基础上，通过维划分引入维层次信息实现立方体的存 储，同时对数据立方体进行分段划分，然后根据主题进行聚簇，提出了一种有利于分布 式系统的数据立方体的存储结构——分布式数据立方体，使数据立方体据主题分布于分 布式数据仓库的各个节点上，采用增量式维护算法及分布式并行处理的方法，对数据进 行维护，提高了数据的维护效率。 为了测试以往运用于集中式系统中的算法在分布式系统中的功能及效率，搭建了分 布式系统模拟环境，以分布式数据立方体的形式对聚集数据进行了维护，运行结果表明， 本文提出的技术在预聚集数据一致性的维护中能够获得较好的效果。 关键词：分布式数据仓库；预聚集数据；动态增量维护；分布式数据立方体 AbstractWith Abstract With the extending application range of data warehouse，the central data warehouse environment has not satisfied the user’S requirement．The teclmology of distributed data warehouse emerges to meet this requirement．In data warehouses，most of the data come from bouom service databases which are distributed，heterogeneous and self-goveming and the infomlation in the database is stored as the form of materialized views．Pre-aggregating data is an important part of these materialized views．Existing of pre—aggregating data accelerates query responding speed and improves the performance of data warehouses greatly．However, the data in bottom databases is changing continuously．it is necessary to timely maintain for them in order to make the pre—aggregated data in distributed data warehouses synchronously reflecting the changes of data resources． After the introducing the knowledge of distributed data warehouse and pre。aggregated data，the deficiency of on—line maintenance and off-line maintenance are analyzed；the application range of dynamic incremental maintenance algorithm is extended，and the model and algorithm of dynamic incremental maintenance in distributed data warehouse is proposed Thro