基于词跨度的中文文本关键词自动提取方法.docVIP

基于词跨度的中文文本关键词自动提取方法 一理论纵横现代物业?现代经济2012年第ll卷第4期 基于词跨度的中文文本关键词自动提取方法 谢晋 (浙江工业大学经贸管理学院,浙江杭州310014) 摘要:针对中文文本关键词提取方法中普遍存在的噪声干扰问题,本文提出一种基于词跨度的关键词自动提取方 法.该方法通过在传统的关键词权重计算方法中,加入词跨因子,利用词跨度来过滤高频噪声数据,以达到降低噪 声干扰的效果.整个关键词提取过程通过分词计算,停用词过滤,.特征统计和权重计算,选出若干个能够表达文章 主旨的关键词.复旦大学语料库的实验结果表明.该方法提高了关键词提取的精度.并且具备良好的稳定性. 关键词:词跨度;关键词提取;噪声干扰;权重计算 中图分类号:TP391.1文献标识码:A文章编号:1671—8089(2012)04—0108—04 AMethodofAutomaticKeywordExtractionBasedonWordSpan XieJin (CollegeofBusinessAdministration,h~iangUniversityofTechnology,Hangzhou310014,China) Abs仃act:Consideringthenoiseinterferenceproblemcommonlyexistinginkeywordextraction,thisPaperproposesanew keywordextractionmethodinChinesetextbyanalyzingwordspan.Theproposedschemeanalyzestherelativeimportance ofawordtoatextthroughmeasuringthedistancebetweenthepositionsoftlliswordappearingfirstlyandlastlyinthegiven text.Thisdistance,calledwordspan,indicatesthescopeofthewordappearing.Sinceasignificantdifferenceexistsbetween thewordspansofkeywordandnoiseword.itisavaluableideatoadoptwordspantopreciselyrecognizeandfilterout the.noises.Here.wordspanisusedtocalculatethefinalweightsofkeywordsex仃actedfromtextbyanalyzingcharacters includingfrequenc~locationandPOS(pa~ofspeech).SomeexperimentswerecompetebasedonFudanUniversityCorpus.in whichdifferenttypesoftextsweremadetotestthismethod.TheresuRsshowedthatthisapproachimprovedthequalityofthe keywordextraction,andhadastableperformanceeffectonvarioustexts. Keywords:Wordspan;Keywordextraction;Noiseinterference;Weightcalculation 引言 在信息技术飞速发展的今天,网页,电子书,邮件等 网络电子文本的数量正呈爆炸式增长,人们在享受这些海 量信息的同时,也不得不花大量的时间和精力来辨别和挑 选.因此,如何有效地提取这些信息的关键内容显得十分 必要.关键词自动提取是文本处理的一项核心技术,在文 本分类,信息检索,自动文摘等诸多领域有着广泛应用. 目前,关于中文关键词的提取方法大致可分为三类: 基于统计信息的方法,基于机器学习的方法和基于语义分 析的方法.基于统计信息的方法是利用词的统计信息判断 词的重要程度,其优点是简单直观,可行性和通用性较 强,是目前应用最多的提取方法.~tHLIJuanzi等,将特 征抽取中的经典TFIDF法用于关键词抽取,结合词的形态 特征和上下文信息,提出一种基于TFIDF的多策略法.马 颖华等以字为处理单位,避开分词和抽词过程,将字同 现频率作为关键词抽取的依据.郑家桓等采用非线性函 数和成对比较法相结合的方法,以词频和位置为依据抽取 关键词.基于机器学习的方法是通过训练模型,然后基 于模型进行关键词抽取,如程岚岚等提出的基于朴素贝 叶斯模型的算法.李素建等提出的基于最大熵模型的算 法.基于语义分析的方法则以文本