MapReduce框架下的优化高维索引与KNN查询.pdfVIP

第８期 电　　子　　学　　报 Ｖｏｌ．４４　Ｎｏ．８ ２０１６年８月 ＡＣＴＡＥＬＥＣＴＲＯＮＩＣＡＳＩＮＩＣＡ Ａｕｇ．　２０１６ ＭａｐＲｅｄｕｃｅ框架下的优化高维索引与ＫＮＮ查询 １ ２，３ １ １ 梁俊杰 ，李凤华 ，刘琼妮 ，尹　利 （１．湖北大学计算机与信息工程学院，湖北武汉４３００６２；２．中国科学院信息工程研究所信息安全国家重点实验室，北京 １０００９３； ３．北京电子科技学院，北京 １０００７０） 　　摘　要：　针对大规模高维数据近似查询效率低下的问题，利用 ＭａｐＲｅｄｕｃｅ编程模型在大规模集群上的数据与 任务的并行计算与处理优势，提出ＭａｐＲｅｄｕｃｅ框架下大规模高维数据索引及 ＫＮＮ查询方法（ｉＰＢＭ），重点突破 Ｍａ ｐＲｅｄｕｃｅ数据块（ｂｌｏｃｋ）的优化划分与各数据块对计算的共同贡献两大难题，利用两阶段数据划分策略并依据相关性 与并行性原则将数据均匀分配到各数据块中，设计分布式的双层空间索引结构与并行ＫＮＮ查询算法，检索时利用全 局索引、局部索引与二维位码索引实现三层数据过滤，大幅缩小搜索范围并降低高维向量计算代价，实验表明ｉＰＢＭ 对大规模高维数据的近似查询具有准确性、高效性和扩展性． 关键词：　云计算；ＭａｐＲｅｄｕｃｅ；ＫＮＮ查询；高维索引 中图分类号：　ＴＰ３０１　　　文献标识码：　Ａ　　　文章编号：　０３７２２１１２（２０１６）０８１８７３０８ 电子学报ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｅｊｏｕｒｎａｌ．ｏｒｇ．ｃｎ　 ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．０３７２２１１２．２０１６．０８．０１５ ＯｐｔｉｍｉｚｅｄＨｉｇｈＤｉｍｅｎｓｉｏｎａｌＩｎｄｅｘａｎｄＫＮＮＱｕｅｒｙｉｎＭａｐＲｅｄｕｃｅ １ ２，３ １ １ ＬＩＡＮＧＪｕｎｊｉｅ，ＬＩＦｅｎｇｈｕａ ，ＬＩＵＱｉｏｎｇｎｉ，ＹＩＮＬｉ （１．ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＨｕｂｅｉＵｎｉｖｅｒｓｉｔｙ，Ｗｕｈａｎ，Ｈｕｂｅｉ４３００６２，Ｃｈｉｎａ； ２．ＳｔａｔｅＫｅｙＬａｂｏｒａｔｏｒｙｏｆＩｎｆｏｒｍａｔｉｏｎＳｅｃｕｒｉｔｙ，ＩｎｓｔｉｔｕｔｅｏｆＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ１０００９３，Ｃｈｉｎａ； ３．ＢｅｉｊｉｎｇＥｌｅｃｔｒｏｎｉｃＳｃｉｅｎｃｅ＆ＴｅｃｈｎｏｌｏｇｙＩｎｓｔｉｔｕｔｅ，Ｂｅｉｊｉｎｇ１０００７０，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：　Ｔｏａｄｄｒｅｓｓｔｈｅｌｏｗｅｆｆｉｃｉｅｎｃｙｐｒｏｂｌｅｍｃａｕｓｅｄｂｙｔｈｅａｐｐｒｏｘｉｍａｔｅｌａｒｇｅｓｃａｌｅｈｉｇｈｄｉｍｅｎｓｉｏｎａｌｄａｔａｑｕｅｒｙ， ｗｅｐｒｏｐｏｓｅａｎｏｖｅｌｈｉｇｈｄｉｍｅｎｓｉｏｎａｌｉｎｄｅｘａｎｄＫＮＮｑｕｅｒｙｍｅｔｈｏｄ，ｃａｌｌｅｄｉＰＢＭ，ｗｈｉｃｈｅｘｐｌｏｉｔｓｔｗｏｍａｉｎｐｒｏｂｌｅｍｓ，ｉｎｃｌｕ ｄｉｎｇｔｈｅｏｐｔｉｍａｌｄｉｖｉｓｉｏｎｏｎｔｈｅＭａｐＲｅｄｕｃｅ’ｓｄａｔａｂｌｏｃｋａｎｄｔｈｅｉｒｃｏｎｔｒｉｂｕｔｉｏｎｓｔｏｔｈｅｃｏｍｐｕｔｉｎｇ．Ｓｐｅｃｉｆｉｃａｌｌｙ，ｂａｓｅｄｏｎｔｈｅ ｐｒｉｎｃｉｐｌｅｓｏｆｒｅｌａｔｉｖｉｔｙａｎｄｐａｒａｌｌｅｌｉｔｙ，ｉＰＢＭｅｍｐｌｏｙｓａｔｗｏｐｈａｓｅｐａｒｔｉｔｉｏｎｉｎｇｓｃｈｅｍｅｏｆｃｌｕｓｔｅｒｉｎｇａｎｄｚｏｎｉｎｇｔｏｅｑｕａｌｌｙ ｓｐｌｉｔｔｈｅｄａｔａｔｏｔｈｅａ