毕业论文-基于GPU的哈希表建立及其应用.docxVIP

基于GPU的哈希表建立及其应用哈希技术已被广泛应用于各个领域，如错误校正、语音识别、信息安全、计算机密码学、电子商务、病毒检测等领域，但随着各个领域的发展，建立哈希表的速度及数据查找速度并不能满足需求。近年来图形处理器GPU构架的不断发展，以CUDA为代表的GPU通用计算的普及，在很多应用中获得几倍、几十倍、乃至上百倍的加速比，所以利用CUDA快速地构建各类哈希表并且应用于各个领域具有重要的实际意义。本文以并行建立哈希表算法为研究对象，详细分析了各种建立哈希表的方法，在充分理解CUDA并行原理基础上，实现了开地址法、链地址法、杜鹃哈希法实时并行建立哈希表以及验证说明LSH算法转低维向量后的保距性，并在此基础上拓展出相关应用。在字符串去重应用中，核心思想是通过字符串哈希函数聚类相同哈希值的字符串，再利用并行思想两两字符串精确比较，最终去掉在给定字符串数据集中重复的字符串。在纹理合成应用中，核心思想是高维相类似的向量经过LSH哈希算法转低维向量后，低维向量之间能有一定概率地保证相似性。在查找相似性KKN应用中，核心思想是高维向量利用LSH算法得到的低维向量后，再转化为一维哈希值，再结合杜鹃哈希建表，最终利用杜鹃哈希表查找出相似性KNN。相比于已有算法，本文工作的优点在于利用CUDA强大的并行能力加速实现各类应用，挖掘各类应用的并行可能，提高运算效率。本文基于GPU分类讨论各哈希算法并行建表及其应用，主要工作内容如下：阐述开地址哈希法中碰撞发生时三种不同的处理方式，并针对这三种不同处理方式分别在CPU平台和GPU平台实现开地址法建立哈希表，最后做出两平台的效率对比。阐述链地址哈希法中处理碰撞的方式，在GPU上通过链地址法建立哈希表，并应用于字符串去重；作为对比实验，在CPU上利用Trie树实现字符串去重，最后进行两者之间的效率比较，以及做出在GPU上利用链地址法建立哈希表的优缺点分析。阐述LSH算法与基于像素点的纹理合成TSVQ算法，并提出用LSH算法应用于纹理合成，验证说明LSH算法把高维向量转低维后仍然保距，最后进行TSVQ算法与LSH算法在纹理合成应用中的效果的对比。 阐述杜鹃哈希法处理碰撞的方式，分析串行杜鹃哈希建哈希表与在GPU上并行建表的不同，并在GPU上实现杜鹃哈希建立哈希表，最后结合LSH算法实现近似KNN查找的应用。实验结果表明，利用开地址法建表，在GPU端的效率高于CPU端，并且随着数据量增加，GPU端加速优势越明显；在大量字符串序列去重方面，并行链地址哈希效率强于Trie 树；在纹理合成应用中，验证出LSH算法将高维向量转化为低维向量后仍然保距，并且合成的效果较好；在一个封闭高维向量数据集中查找每个高维向量近似KNN应用中，在GPU上利用LSH算法结合杜鹃哈希建表后查询效率远远高于串行蛮力精确查找。关键词：GPU，CUDA，并行计算，哈希表，应用Research and Application of Hashing Table based on GPUMajor: Computer Science and TechnologyPostgraduate: ganfei Tutor:lixiaofengHash technique is widely used in various fields, such as Error Correction, Speech Recognition, Information Security, Computer Cryptography, E-commerce, Virus Detection and so on. However, with the development of various fields, the speed of building hash table and lookup don’t meet rising demand. These days the highly parallel architecture of the GPU is recognized for its extremely fast number crunching abilities, giving rise to techniques for applying the GPU to non-graphical computations , In many applications, it obtains several times, even a hundred times speedup .so it’s necessary to take advantage of CUDA to build all kinds of hash tables in these fiel