基于关系并行数据仓库数据划分和操作.docVIP

基于关系并行数据仓库数据划分和操作 　　（华东理工大学 计算机系， 上海 200237） 　　摘 要：目前并行数据库的研究已经进入了实际应用阶段，而数据仓库的大数据量处理更需要并行处理能力的支持。针对数据仓库的特点，提出了一种可操作的并行化数据划分方法和物理存储方案，同时对基于该种数据存储的数据操作做了详细的讨论，并对各种Join操作的具体处理方法进行了归类论述。?? 　　关键词： 并行数据操作； 数据仓库； 数据划分； Join操作?? 　　中图法分类号： TP311.13文献标识码： A 　　文章编号： 1001 3695(2006)08 0212 04 　　?? 　　Data Placement and Operation of Relation based Parallel Data Warehouse ?? 　　 　　LV Cheng, JIN Deng nan 　　（Dept. of Computer, East China University of Science Technology, Shanghai 200237, China） 　　Abstract: Parallelize has already been used in DBMS, and is more useful in data warehouse which must handle the massive data processing. The paper gives operable parallel ways for data placement and store in data warehouse environment, and also discuss the data operation based this physical structure, especially the parallel implementing methods of Join operation. ?? 　　Key words: Parallel Data Processing; Data Warehouse; Data Placement; Join Processing 　　 ?お? 　　1 引言?? 　　 　　20世纪70～80年代，国外不少工作者潜心研究数据库机器[1]，其中很重要的一点就是致力于实现数据操作并行化的专用硬件的设计。由于种种原因，数据库机器最终没有进入实用阶段，但却为数据库系统的发展指明了方向。随着通用并行计算机系统的发展和成熟，并行数据库的研究取得了极大的进展，并已成为并行计算机研究的主要应用之一。目前各大主流的商用数据库产品都成功地增加了并行处理能力，如Oracle公司的OPS（Oracle Parallel Server）、Informix公司的On line Dynamic Server和Sybase公司的VSA（Virtual Server Architecture）等。虽然这些产品大都还是在原有系统的基础上进行的并行化改进，但这足以说明并行技术的运用是目前高性能数据处理的必由之路。?? 　　数据仓库的自身特点决定了对大规模数据进行有效的管理和操作是技术层面的核心所在。目前世界上大型的数据仓库系统（如WalMart，SBC）的数据量已接近200TB，所以数据仓库的应用对并行化技术提出了更高的要求。同时，由于其数据仓库一般专注于OLAP和DSS等类型的操作，因此可以在体系结构上作具有针对性的优化或简化。?? 　　尽管现在主流的数据仓库解决工具提供了新的数据模型解决方案，如星型、立方体模型等，它们对特定的OLAP应用确实起到了很好的效果，但是如果以数据仓库作为企业信息系统的基础，绝对是一个适合于使用规范化方法的领域[2]。而其他模型则可以用于以数据仓库为基础建立主题明确的数据集市。本文以基于关系的数据仓库为对象，在体系结构、数据存储和操作性能方面，在已有方法的基础上提出了可操作的解决方案。?? 　　 　　2 一种基于容错的体系架构 　　?? 　　并行数据库系统的研究从一开始就与体系结构密切相关，文献[3]中归纳了四种典型的并行计算机结构：SE（Share Everything），SM（Share Memory），SD（Share Disk），SN（Share Nothing）。1986年，美国学者M.Stonebraker提出SN结构是支持并行数据库系统的最好并行结构[5]，它具有共享资源少、系统开销小、加速比高等优点和近乎线形的可扩充性。早期的Ga mma ，Bubba和Tandem均是SN结构的例子，而国内的PARO等并行数据库原型系统也采用该结构。?? 　　图1、图