使用MapReduce构建列存储数据的索引.PDFVIP

第３１卷第２期　　　 计算机应用与软件 Ｖｏｌ３１Ｎｏ．２ ２０１４年２月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｆｅｂ．２０１４ 使用ＭａｐＲｅｄｕｃｅ构建列存储数据的索引 丁祥武　李清炳　乐嘉锦 （东华大学计算机科学与技术学院　上海２０１６２０） 摘　要　　大数据的存储与分析是近年来数据库领域研究的热点，高效的索引技术是提高大数据查询分析性能的重要技术手段。 在现有的数据存储模型及索引技术研究基础上，提出使用ＭａｐＲｅｄｕｃｅ构建列存储数据的索引。该索引技术结合ＭａｐＲｅｄｕｃｅ编程模 型，先在Ｍａｐ阶段完成数据划分，然后在Ｒｅｄｕｃｅ阶段完成数据的排序，最后在数据有序的Ｒｅｄｕｃｅ节点上创建ＲＢ＋树索引，从而减 少索引创建时因为ＲＢ＋树内部节点递归分裂而产生的昂贵代价和树的高度，提高数据查询的性能。通过在真实数据集上进行实 验，验证了所提出方法的有效性。 关键词　　列存储　ＭａｐＲｅｄｕｃｅ　ＲＢ＋索引 中图分类号　ＴＰ３１１．１　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１４．０２．００７ ＵＳＩＮＧＭＡＰＲＥＤＵＣＥＴＯＣＲＥＡＴＥＩＮＤＥＸＦＯＲＣＯＬＵＭＮＳＴＯＲＥＤＡＴＡ ＤｉｎｇＸｉａｎｇｗｕ　ＬｉＱｉｎｇｂｉｎｇ　ＬｅＪｉａｊｉｎ （ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＤｏｎｇｈｕａＵｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ２０１６２０，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｈｕｇｅｄａｔａｓｔｏｒａｇｅａｎｄａｎａｌｙｓｉｓａｒｅｔｈｅｒｅｓｅａｒｃｈｆｏｃｕｓｏｆｄａｔａｂａｓｅｆｉｅｌｄｉｎｒｅｃｅｎｔｙｅａｒｓ．Ｅｆｆｉｃｉｅｎｔｉｎｄｅｘｔｅｃｈｎｏｌｏｇｙｉｓａｎ ｉｍｐｏｒｔａｎｔｔｅｃｈｎｉｃａｌｍｅａｎｓｔｏｉｍｐｒｏｖｅｔｈｅｐｅｒｆｏｒｍａｎｃｅｏｆｈｕｇｅｄａｔａｑｕｅｒｙａｎｄａｎａｌｙｓｉｓ．Ｂａｓｅｄｏｎｅｘｉｓｔｉｎｇｓｔｕｄｉｅｓｏｎｄａｔａｓｔｏｒａｇｅｍｏｄｅｌａｎｄ ｉｎｄｅｘｔｅｃｈｎｏｌｏｇｙ，ｗｅｐｒｏｐｏｓｅｔｈａｔｔｏｕｓｅＭａｐＲｅｄｕｃｅｔｏｃｒｅａｔｅｉｎｄｅｘｆｏｒｃｏｌｕｍｎｓｔｏｒｅｄａｔａ．ＩｎｃｏｍｂｉｎａｔｉｏｎｗｉｔｈｔｈｅＭａｐＲｅｄｕｃｅｐｒｏｇｒａｍｍｉｎｇ ｍｏｄｅｌ，ｔｈｉｓｉｎｄｅｘｔｅｃｈｎｉｑｕｅｆｉｒｓｔｃｏｍｐｌｅｔｅｓｄａｔａｐａｒｔｉｔｉｏｎｉｎｇｉｎＭａｐｐｈａｓｅ，ｔｈｅｎｃｏｍｐｌｅｔｅｓｄａｔａｓｏｒｔｉｎｇｉｎＲｅｄｕｃｅｐｈａｓｅ，ａｎｄｆｉｎａｌｌｙｃｒｅａｔｅｓ ＲＢ＋ｔｒｅｅｉｎｄｅｘｏｎｅａｃｈｓｏｒｔｅｄｄａｔａＲｅｄｕｃｅｎｏｄｅ，ｓｏａｓｔｏｃｕｔｄｏｗｎｔｈｅｈｉｇｈｃｏｓｔｃａｕｓｅｄｂｙｒｅｃｕｒｓｉｖｅｓｐｌｉｔｂｅｔｗｅｅｎｉｎｎｅｒｎｏｄｅｓｏｆＲＢ＋ｔｒｅｅ ｗｈｅｎｔｈｅｉｎｄｅｘｉｓｃｒｅａｔｉｎｇａｎｄｔｈｅｈｅｉｇｈｔｏｆｔｈｅｔｒｅｅ，ａｎｄｔｏｉｍｐｒｏｖｅｄａｔａｑｕｅｒｙｐｅｒｆｏｒｍａｎｃｅ．Ｔｈｒｏｕｇｈｔｈｅｅｘｐｅｒｉｍｅｎｔｏｎｒｅａｌｌｏｇｆｉｌｅ ｄａｔａｓｅｔｓ，ｉｔｖｅｒｉｆｉｅｓｔｈｅｅｆｆｅｃｔｉｖｅｎｅｓｓｏｆｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄ． Ｋｅｙｗｏｒｄｓ　　Ｃｏｌｕｍｎｓｔｏｒｅ　ＭａｐＲｅｄｕｃｅ　ＲＢ＋Ｉｎｄｅｘ 单独创建聚簇索引。 ０　引　言 Ｂ＋树索引是一种广泛使用的数据库索引技术，它可以有 效地支持六种 查询。但是随着数据量的不断增长，当数据总 θ 随着Ｉｎｔｅｒｎｅｔ技术和电子商务技术的不断发展，许多电子商