基于改进TF-IDF算法的情报关键词提取方法.PDFVIP

第33卷摇 第4期 情摇 报摇 杂摇 志 Vol.33摇 No.4 2014年4月 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 JOURNAL OF INTELLIGENCE摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 Apr.摇 2014 基于改进 TF-IDF算法的情报 关键词提取方法 张摇 瑾 (郑州轻工业学院摇 郑州摇 450002) 摘摇 要摇 传统的TF-IDF完全基于词频,忽略了词语的其它特征项对关键词的影响。 本文提出基于TF-IDF、词位置 和词跨度的关键词自动提取的方法。 该方法通过在传统的TF-IDF关键词权重计算方法中,加入位置权值及词跨度 权值,避免单纯采用TF-IDF算法产生的偏差。 实验结果表明,该方法在情报关键词提取中有广泛的应用价值,其准 确率、召回率及F1值与传统方法相比有明显提升。 关键词摇 关键词提取摇 TF-IDF摇 位置权值摇 词跨度值 中图分类号摇 TP391摇 摇 摇 摇 摇 摇 文献标识码摇 A摇 摇 摇 摇 摇 摇 文章编号摇 1002-1965(2014)04-0153-03 DOI摇 10.3969/j.issn.1002-1965.2014.04.028 A Method of Intelligence Key Words Extraction Based on Improved TF-IDF Zhang Jin (Zhengzhou University of Light Industry,Zhengzhou摇 450002) Abstract摇 Being usually entirely based on word frequency,TF-IDF neglectsthe influence of other features of words on keywords. The essay proposesa automatic keywordsextracting methodbasedonTF-IDF,wordpositionandword span. Wordpositionweightvalueand word spanvalueareaddedtothetraditionalTF-IDFkeywordstermweightingalgorithmin ordertoavoiddeviation. Theexperimentfind鄄 ings show that theproposedmethod,withhigheraccuracy,lowerrecallrateandF1values,ismoreapplicableintheextractionofChinese intelligence keywords. Key words摇 key wordsextraction摇 TF-IDF摇 word position weight value摇 word span value TF表示词语 i 在该文档中出现的次数,逆文本频数 0摇 引摇 言 IDF=log(N/ N +茁),其中N表示文档总数,N 表示文i i 随着大数据时代的到来,信息和现实生活密不可 档中出现词语 i 的文档数,为一个经验值,一般取0. 分,如此海量的数据使得寻找所需的情报的难度加大。 01、0.1、1。 以词频TF 和逆文本频数IDF 的乘积作为 因此,如何有效提取有用情报的主题内容显得十分重