基于朴素贝叶斯模型的中文关键词提取算法研究.pdfVIP

第 25卷第 12 期 计算机应用 Vo l. 25 No. 12 2005年 12 月 　 Compu ter App lication s 　 D ec. 2005 文章编号 : 100 1 - 9081 (2005) 12 - 2780 - 03 基于朴素贝叶斯模型的中文关键词提取算法研究 程岚岚 ,何丕廉 ,孙越恒 (天津大学 计算机科学与技术系 ,天津 300072) (ahchenglan lan@ 163. com ) 摘 　要 :提出了一种基于朴素贝叶斯模型的中文关键词提取算法 。该算法首先通过训练过程获 得朴素贝叶斯模型中的各个参数 ,然后以之为基础 ,在测试过程完成关键词提取 。实验表明 ,相对于 传统的 if idf方法 ,该算法可从小规模的文档集中提取出更为准确的关键词 ,而且可灵活地增加表 征词语重要性的特征项 ,因而具有更好的可扩展性 。 关键词 :关键词提取 ;朴素贝叶斯模型 ;特征项 中图分类号 : TP183　　文献标识码 : A Study on Ch inese keyword extraction a lgor ithm ba sed on Nave Bayes m odel CHEN G L anlan , HE P ilian , SUN Yueheng (D ep a rtm en t of Comp u ter S cience and Technology, T ianj in Un ivers ity, T ianj in 300072, Ch ina) A b stract: A keyword extraction algorithm for Ch inese docum ents ba sed on N ave B aye s model wa s p ropo sed, wh ich involved train ing and te sting p roce ss. Param eters of the model were first ob tained during train ing p rocess, and then the p robab ility of a word to be a keyword wa s compu ted based on the model du ring te sting p roce ss. Exp erim en t re su lts show that the algorithm can extract more accu rate keyword s from a sm all scale docum ent collection comp ared w ith traditional app roach of if idf. Moreover, it can flexib ly extend featu re item s that indicate the importance of word s, so it has a good scalab ility. Key words: keyword extraction; N ave B ayes model; feature item s 0　引言 P (A ) 0。P (B i |A ) 是在条件 A 下 B i 的后验概率 。P (B i) 表示