基于Newshingling的相似文本检测算法.pdfVIP

2011年7月 沈 阳建 筑 大 学 学 报 (自然 科 学 版 ) 第27卷第4期 JournalofShenyangJianzhuUniversity(NaturalScience) Ju1． 201l V01．27．No．4 文章编号：2095—1922(2011)04—0771—05 基于Newshingling的相似文本检测算法 赵德平 ，蔡丽静 ，李 鹏 (1．沈阳建筑大学理学院，辽宁沈阳 110168；2．沈阳建筑大学信息与控制工程学院，辽宁沈阳 110168) 摘 要：目的构造一种新的文本查重算法，改变传统的Shingling网页去重算法，提高文本的 相似度计算率，提高查准率和查全率．方法 改变传统的Shingling算法，先删除文本中无意义 的虚词，再根据语意对文本进行分片，进而利用文本相似度计算公式对文本相似度进行计算． 结果 该算法提高了文本相似度计算的准确性，同时文本的查准率提高了10％左右，查全率提 高了5％左右．结论 实验表明，笔者所提算法实现简单、可行、具有 良好的文本相似度计算效 果 ，具有一定的优越性． 关键词：空间向量模型；文本相似度；Shingling算法；分词 中图分类号：TF391 文献标志码：A A SimilarTextDetectionAlgorithm BasedonNewshingling ZHAODeping，CAILijing，LIPeng (1．SchoolofScience，ShenyangJianzhuUniversity，Shenyang，China110168；2．InformationandControlEngineering，Sheny- nagJianzhuUniversiyt，Shenynag，China，110168) Abstract：Theobjectiveofthepaperistoconstructanewtextsearchingrepetitionalgorihtmincomputeral— gorithm inordertochangethetraditionalShinglingpagere—algorithm ，nadtoimprovehtesimilaritycom- putafionrateofhtetext．improvehteprecisionna drecal1．W etakemeasurestochnagehtetraditional shing． i1ngalgorihtm．First，wedeletehtetextSmeaninglessfunctionword，slicehtetextaccordingtohtesemnatic； then。usetextsimi larityformulatocalculatehtesimilarityofhtetext．Throughhtealgorihtm inhtecalcula． tionoftextsimi larity．hteaccuracyoftextsimilariyt computationisincreased。htetextofhteprecisionnad recallrateraeenhnacedaswel1．111eexperimentshowshtathtealgorihtm issimplenadfeasible．withgood textsimi larity calculation。htemehtodissuperior． Keywords：VSM ；textsimilariyt；shinglingalgorihtm；segmentation 随着计算机的普及和网络的飞速发展，互联 表示两个或多个文本之间匹配程度的一个度量参 网上以及各种电子文档的数量以空前的速度增 数，相似度大，说明文本相似度高，反之文本相似 长，人们获取知识的途径也发生了深刻的变化．面 度低．对于文本类聚，信息检索，网页去重，文本分 对如此巨大的知识海洋 ，如何快速查找相关信息 类等很多