基于关系的并行数据仓库的数据划分和操作-计算机应用研究.PDFVIP

2·12 · 计算机应用研究 2006 年 基于关系的并行数据仓库的数据划分和操作 吕 成, 金登男 ( 华东理工大学 计算机系, 上海 200237) 摘 要: 目前并行数据库的研究已经进入了实际应用阶段, 而数据仓库的大数据量处理更需要并行处理能力的 支持。针对数据仓库的特点, 提出了一种可操作的并行化数据划分方法和物理存储方案 , 同时对基于该种数据 存储的数据操作做了详细的讨论, 并对各种 Join 操作的具体处理方法进行了归类论述。 关键词: 并行数据操作; 数据仓库 ; 数据划分 ; Join 操作 中图法分类号: TP311. 13 文献标识码 : A 文章编号: 1001- 3695( 2006) 08- 0212- 04 Data Placement and Operation of Relation-based Parallel Data Warehouse LV Cheng, JIN Deng-nan ( Dept. of Computer, East China University of Science Technology, Shanghai 200237 , China) Abstract: Parallelize has already been used in DBMS, and is more useful in data warehouse which must handle the massive data processing. The paper gives operable parallel ways for data placement and store in data warehouse environment, and also discuss the data operation based this physical structure, especially the parallel implementing methods of Join operation. Key words: Parallel Data Processing; Data Warehouse; Data Placement; Join Processing 储和操作性能方面, 在已有方法的基础上提出了可操作的解决 1 引言 方案。 20 世纪 70 ～80 年代, 国外不少工作者潜心研究数据库机 2 一种基于容错的体系架构 器[ 1] , 其中很重要的一点就是致力于实现数据操作并行化的 专用硬件的设计。由于种种原因, 数据库机器最终没有进入实 并行数据库系统的研究从一开始就与体系结构密切相关, 用阶段, 但却为数据库系统的发展指明了方向。随着通用并行 文献 [ 3] 中归纳了四种典型的并行计算机结构: SE( Share Eve- 计算机系统的发展和成熟, 并行数据库的研究取得了极大的进 rything) , SM( Share Memory) , SD( Share Disk) , SN( Share Noth- 展, 并已成为并行计算机研究的主要应用之一。目前各大主流 ing) 。1986 年, 美国学者 M. Stonebraker 提出 SN 结构是支持并 的商用数据库产品都成功地增加了并行处理能力, 如 Oracle 公