一种OLAP海量数据载入技术的研究.pdfVIP

维普资讯 第 l8卷．第 2期 计 算机 技 术 与 发 展 Vo1．18 NO．2 2008年 2月 (()MPI_YFERT默 、HNOL()(二Y AND DEVEL0PM NT Feb． 2008 一 种 OLAP海量数据载入技术的研究 林 昕，李心科 (合肥工业大学 计算机与信息学院，安徽 合肥 230009) 摘 要 ：在数据仓库、数据挖掘和联机分析处理系统中，海量数据的载人虽然不是时时发生 ，但是海量数据的载人效率直 接影响昔系统性能，如何高效地进行海量数据的载人十分重要。提出了两种技术 ，即基于UB—Tree的海量数据的初始化 载入技术以及海量数据的增量载人技术 ，阐述了基于UB—Tree的海量数据载人的技术及其算法 ，提出了海量数据载人模 型，建立基于 UB—Tree的初始化载人 ，以及如何在 已有的UB—Tree上做增量载人。经过性能分析，算法减少了I／O和 CPu代价，为一种有效的海量数据载人方法。 关键词：海量载人 ；UB一树 ；数据仓库 ；联机分析处理 图分类号：TP311．131 文献标识码：A 文章编号 ：1673～629X(2008)0051—04 StudyonOLAPMassDataLoadingTechnology LIN Xin，LIXin．ke (SchoolofComputerandInformation，HefeiUniversityofTechnology．Hefei230009，China) Abstract：Indatawarehouse，dataminingandOLAPlargedatasetsloadingocetlrsnotcontinuously．buttheloadingefficiencyinfluences theperformanceofthesystem．Itisnecessarytohaveefficientmassdataloading techniques．Inthispaper．proposestwotcehn iques，orle forinitiallaoding basedonorlenewLIB—Tree，andorleforincrementalloading ，whichaddsadat toanexisting UB—Tree．Proposesa modelofmassdataloading nadtwotcehn iques，oneofrinitialloading，whichcreatesanev~UB—Tree，na doneforincrementalloading ， whichaddsadtatona existing LIB—Tree．Bothtechniques trytominimizeI／Ona dCPU caot．Analysisdemonstrates thatthealgorithms areefficientnadabletohandlelargedatasets． Keywords：m~ loading ；UB。。tree；datawarehouse；OLAP O 引 言 的页占有率llJ。 当有海量数据载人数据仓库索引时，根据每一个 迄今为止已经在多维索引结构上做了大量的工 数据元组的索引值进行插入操作是不可行的，在同一 作，如 R—T [2，3l，Grid leS[4。，以及 quad—Trees~5]， 时间大量的页访问将导致系统性能下降。在多数情况 文中将讨论UB—Tree。提出基于