基于OpenMP的并行集合包含查询算法-云南大学.PDFVIP

云南大学学报（自然科学版），２０１６，３８（３）：３７６～３８２ ＤＯＩ：１０．７５４０／ｊ．ｙｎｕ Ｊｏｕｒｎａｌ ｏｆ Ｙｕｎｎａｎ Ｕｎｉｖｅｒｓｉｔｙ 基于ＯｐｅｎＭＰ 的并行集合包含查询算法∗ １，２ ３ ３ ３ ３ 李孟娟 ， 贾连印 ，陈文焰 ， 吕晓伟 ，章露露 （１．云南师范大学 图书馆，云南 昆明　 ６５０５００； ２．云南省计算机技术应用重点实验室，云南 昆明　 ６５０５００； ３．昆明理工大学 信息工程与自动化学院，云南 昆明　 ６５０５００） 摘要：集合包含查询分为子集、等值和超集３种查询，在多个领域有重要的研究意义和应用价值．随着集合 数据集规模的不断增大，迫切需要提高集合包含查询的效率．集合包含查询并行化是解决这一问题的一条途 径，基于ＯｐｅｎＭＰ提出并行子集、等值和超集查询算法，这些算法采用反向索引结构，通过ｆｏｒ循环并行化实现 查询间的并行执行．为提高算法效率，设计２个高效的并行共享数据结构：①ＰＶＥＣ结构：用于存储并行查询结 果．②ＣｏｕｎｔＡｒｒ数组：针对超集查询，用于对反向列表中的元素计数，并行线程可异步地对这两个结构进行访问． 在ＭＳＷＥＢ和ＤＢＬＰ ２个数据集上进行扩展实验，结果表明，实现的３种并行集合包含查询具有较高的效率，对 ３种查询在ＭＳＷＥＢ数据集上均可达到４Ｘ 以上的加速比． 关键词：ＯｐｅｎＭＰ；并行集合包含查询；反向索引；子集查询；等值查询；超值查询 － － － 中图分类号：ＴＰ ３１１　 　 文献标志码：Ａ　 　 文章编号：０２５８ ７９７１（２０１６）０３ ０３７６ ０７ 　 　 随着电子商务、社交网络、物联网及相关信息 ｈａｓｈｉｎｇ和反向索引４种结构的ＳＣＱ算法进行比较 获取技术的飞速发展，数据的复杂度和规模不断扩 发现，除等值查询外，反向索引优于其它３种结构． 大．集合是表达这类复杂数据的有力工具，可用于 文献［７］采用有序反向列表的方式将 ＳＣＱ转换为 表示用户购买的商品集、购买某一商品的用户集、 有序反向列表上的范围查询，通过过滤无需访问的 社交网络中的好友集等，但随着集合数据规模的不 硬盘块来降低ｚｉｐｆ分布下的长列表的访问代价．文 断增大，在海量的集合数据中快速查找符合某些特 献［８］研究了在容错环境下的集合包含查询问题， 定条件的集合成为一项艰巨的任务． 提出了基于项集的反向列表和相关查询算法，拓展 给定一个由一系列集合组成的集合数据集Ｄ 了ＳＣＱ的应用范围．文献［９］研究基于反向索引与 和一个集合 Ｑ，集合包含查询（后文简称 ＳＣＱ）即 ｔｉｄｓｅｔ混合的索引结构的ＳＣＱ算法，在一定程度上 在Ｄ 中查找所有的集合Ｒ∈Ｄ，使得Ｒ 和Ｑ满足特 提高了基于反向索引的ＳＣＱ算法的效率． － ［１０ １１］ ［１２］ 定的集合查询谓词，常用的谓词包括子集谓词（Ｑ ＳＣＱ与集合相似度查询 或连接 不同， ＝ ⊆Ｒ）、等值谓词（Ｑ Ｒ）、超集谓词（Ｑ⊇Ｒ）３种． ＳＣＱ着重于