基于二元切分的互联网新闻主题词自动提取的研究.pdfVIP

基于二元切分的互联网新闻主题词自动提取研究 孙宏纲陆余良 (合肥电子工程学院网络工程系 合肥230037) 摘要为了更准确地得到互联网新闻主题词，本文在研究中，借鉴了基于二元自动切分的索引机制。在新闻主 题词提取时，选用二元切分，并充分利用新闻自身的文体特性，弱化了对字典的依赖，强化了对二元词的位置信息 的处理。实验证明该方法是一种简单有效的获取新闻主题词，包括未登录词的方法。 关键词二元切分，互联网新闻，主题词 ResearchoilAuto-ExtractionofWebNews BasedOil Topic Bi—segment SUN LU Hong-GangYu-Liang Network Electronic Institute，Hefei230037) (Dept．of Engineering，HefeiEngineering the of AbstractIn research，theindexmechanismbasedon isintroducedto news bi-segment improveprecision topic the of titleand ofnewsis extraction．Duringprocesstopicextraction，firstly，thebody segmentbybi-segment；then ittakesthe ofthe charactersofnewstoweakenthe of andto the dependencedictionary advantagestyle strengthen of informationof the thatthisisaneffective to position processing bi-glossary．Byexperiment，it’Sproved approach extractionnews word unknownword． topic including word KeywordsBi-segment，Webnews，Topic 。1 前吉[3。4．6] 权法”，该算法认为，词出现的位置具有一定的权重， 刖罱。”“。 例如出现在标题中的实词比出现在正文中的实词更 目前文本主题提取多采用词频统计的方法，如 能代表文章的主题内容。因此，标题中实词所得的 著名TFIFDF算法，该算法是由GeraldSalton和权值应比正文中的大。采用位置加权的方法，大大 McGill针对向量空间信息检索范例(Vectorspace提高了主题词提取的准确性。但是对于新闻主题词 informationretrieval paradigm)提出的文档特征表提取来说还要充分考虑未登录词问题，以及连续词 示方法。词频统计方法的前提是词频越高，重要性 串中，不同词长的限定性问题。比如新闻中有这样 越高，但是在新闻中频度高的词