基于主题关键词的新闻去重算法论文.pdfVIP

基于主题关键词的新闻去重算法幸 沙芸，周俊武，张国英’ 北京石油化工学院计算机系北京102617 E·mail：shayun@bipt．edu．ca 摘要：去除内容相同或相近的新闻是提高搜索引擎关键技术之一。提出了一种基于主题关键词的新闻去重算 法。该方法可基于小规模语料库识别新词，通过以标题为种子点构建词汇链的方法，能够找到对主题贡献大的 非高频词，从而抽取出能够表述文档主题的关键词集合。为了在相似新闻中挑选质量高的作为去重结果，需要 进行聚类，本文采用动态生成相似文档类别标签的方法进行文档聚类。通过对该类文档总关键词的分析不断调 整该类别的文档标签内容，从而适应变化的文档集合。最后．从相似文档类中选出一个或多个作为文档去重结 果。本文所采用的聚类方法的好处是无需叠代计算，对文档只扫描一次。实验结果表明与传统方法相比排斥错 误率刚氏了5％左右，运算速度提高了15-20％。 关键词：关键词提取；新词识别；词汇钱动态类别标签 News AI i thmofFi ndi 1 i cated An gor ngRep byKeyword Extracti on Sha Yun，ZhouJun—WR，ZhangGuo—ying’ science，inInstituteofPetrochemicalTechnology，Beijing,102617 Departmentofcomputer Beijing E．mail：shayun@bipt．edu．cn out newsisall ofsearch onkeywords，the Abstract：Weedingduplicated importanttechnique engine．Based USeSsmallscale to anew toweed news．The corpusrecognize paperproposesalgorithmduplicated algorithm Set out buildlexicaichain screening unknownwords．and bytitle髂Seeds,obtainintegratedkeywordsby the and of newsisclustered butlowoccurrencewords．Inorderto weeding,the important improvespeedquality label．Totheclusterlabel labelis tothe basedon cluster adjustedaccording keywordbydynamic gain exactly，the wordsofthiscluster．Afterthat．oneorfewnewsare result totheir key selected躬weedingaccordingquality．The