分布式平台下MinHash算法研究与实现.pdfVIP

第 4卷 第6期 智 能 计 算 机 与 应 用 Vo1．4No．6 2014年 12月 INTELLIGENT C0MPUTER AND APPLICATIONS DeC．2014 分布式平台下MinHash算法研究与实现 王洪亚，吴西送，任建军，赵银龙 (东华大学 计算机科学与技术学院。上海 201620) 摘 要：MinHash作为位置敏感哈希(LSH)算法中的一种，可以用来快速估算两个集合的相似度，查找网络上的重复网页或者相 似新闻网页，MinHash算法使用Jaccard相似度来度量对象的相似程度。本文针对MinHash算法在分布式平台上的实现和性能表 现进行分析和研究，给出了MinHash的分布式算法。最后通过具体的实验，验证了提出的MinHash算法在处理实际问题上的正确 性和准确性 。 关键词：MinHash；分布式；算法实现 中图分类号：TP311 文献标识码： A 文章编号：2095—2163(2014)06—0044—03 TheResearchandImplementationoftheM inHashAlgorithm inDistributedPlatform WANGHongya，WUXisong，RENJianjan，ZHAOYi~ong (SchoolofComputerScienceandTechnology，DonghnaUniversity，Shanghai201620，China) Abstract：MinHashisakindofLocalitySensitiveHashingalgorithm (LSH)，whichcanbeusedtoquicklyestimatethe similarityoftwosetstofind theduplicateweb pagesorthesimilarnewspagesontheweb．Thispaperfocusesonthe MinHashimplementationsandPerformanceindistributedplatform ，anddevisesthedistributedMinHashalgorithm．Toveri— fythesoundnessofthenew version，thepaperconductsextensiveexperimentswithseveralrealdatasets．Experimental re— suitscon~mr thevaliditynadaccuracyoftheproposedimplementation． Keywords：MinHash；Distributed；Algorithm Implementation 0 引 言 解决维度灾难的一个有效方法。LSH方法能够以概率方式 近年来 ，在很多应用设计中，面对和需要处理的往往是 在保证一定查询精确度的前提下实现快速的近似最近邻查 具有很高维度的海量数据 ，因而大数据研究领域也随之创建 询 。MinHash也是LSH算法中的一种，多是用来快速估算 与兴起。怎样从海量的高维数据集合中快速寻获与某一数 两个集合的相似，其中通过使用Jaccard相似度来度量对象 据最相似(距离最近)的一个或多个数据即成为该领域的重 的相似程度。具体来说，MinHash是由AndreiBroder首次提 点问题。如果是低维的小数据集 ，通过线性查找 (Linear 出，可用于在搜索引擎中检测重复网页或者查找相似新闻网 Search)就可以轻松解决；但如果是对一个海量的高维数据集 页以及文章 -3]，MinHash算法的实际效果与其重要参数 、 采用线性查找匹配，时间开销必然巨大，针对此一问题，就需 密切相关，这些参数的设定与数据