云环境中的近似复制文本检测.pdfVIP

云环境中的近似复制文本检测 许君1，2,3,4 王朝坤2,3,4 刘立超2，3，4 王建民1,2,3,4 刘璋1,2,3,4 1清华大学计算机科学与技术系 北京 100084 2清华大学软件学院 北京 100084 3清华信息科学与技术国家实验室 （筹） （清华大学）北京 100084 4信息系统安全教育部重点实验室 （清华大学）北京 100084 NearDuplicateTextDetectioninCloudEnvironment XuJun1，2,3,4 WangChaokun2，3，4 LiuLichao2,3，4 WangJianmin1,2,3,4 LiuZhang1，2,3，4 1DepartmentofComputerandScience,TsinghuaUniversity,Beijing100084 2SchoolofSoftware,TsinghuaUniversity,Beijing100084 3TsinghuaNationalLaboratoryforInformationScienceandTechnology(TsinghuaUniversity),Beijing100084 4KeyLaboratoryforInformationSystemSecurity(TsinghuaUniversity),MinistryofEducation,Beijing100084 Abstract Nowadays,therearelargeamountsofdatageneratedintheInternetwhichtextdata constitutesanimportantpartoftheInternet.Intheseimmenseamountsofdata,therearealotof nearduplicatedocuments,whichbringanadditionalburdentosomecorrelationprocessingprograms. ThispaperpresentsanewnearduplicatedetectionalgorithmwhichbasedonMapReduceinthe backgroundofcloudcomputing.Givenasetofdocumentsandsimilaritythreshold,ouralgorithmcan returnallsimilardocumentspairsthatdontbelowthethresholdbyeffectivelyfilteringoperation. Basedontheexperimentalresultsinrealdatasetsitsuggeststhatthisalgorithmcanreturnsimilar documentpairsmoreefficientlyandimprovetheoverallperformancecomparedwiththeexisting algorithm. Keywords MapReduce;nearduplicatetextdetection;virtualpositionfilter 摘要 如今的互联网领域时刻都在产生海量的数据，文本数据是重要的组成部分.在这些文本数据中， 存在大量的近似复制文本，这些相似程度很高的文本对给相关处理程序增加了额外负担.针对云计算环 境，提出了一种基于MapReduce的近似复制文本检测算法，它能够在给定的文本集合与相似度阈值条 件下，经过过滤与验证操作后返回所有相似程度不低于该阈值的文本对.真实数据集上的实验结果表 明，与现有工作相比，所提算法能更为高效地返回相似文本对，提高了总体性能. 关键词 MapReduce；近似复制文本检测；虚拟位置过滤 TP391 对间. 『近似复制j 虻势，与文献[ trd距离作为 ：本d。前缀 词一文本倒 良文本d：中 ．__J一，，__mh }单 词 频 率 2 ．『)，value }}wordfreq2 ，jlij)，i． ：述3种算法性能最j 浚：本文算法运行时I 213左右，运行时间较 0NaivePPJoin ：：：：：：I运 ，将文档进行 ！好的性能．然 ：似指数的增1