一种改进的朴素贝叶斯关键词提取算法研究-计算机应用与软件.pdf

第３１卷第２期　　　 计算机应用与软件 Ｖｏｌ３１Ｎｏ．２ ２０１４年２月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｆｅｂ．２０１４ 一种改进的朴素贝叶斯关键词提取算法研究 王锦波　王莲芝　高万林　喻　健 （中国农业大学信息与电气工程学院　北京 １０００８３） 摘　要　　为了提高关键词提取的准确率，在利用文本中相同词的前后词共现频率识别组合词的基础上，提出一种基于改进词语统 计特征的朴素贝叶斯关键词提取算法。该算法选取词语的词长、词性、位置、ＴＦＩＤＦ值作为词语的特征项，改进了统计词长、ＴＦＩＤＦ 和词频的方法，使长词和ＴＦＩＤＦ大的词具有更高的概率，而在统计词频时，考虑了词语之间包含与被包含的关系。然后，采用朴素 贝叶斯模型对标记好关键词的文本进行训练，获得各个特征项出现的概率，用来提取文本的关键词。实验表明，与传统基于词频和 决策树Ｃ４．５的关键词提取算法相比，采用该方法提取的关键词具有更高的准确率和可读性。 关键词　　朴素贝叶斯　组合词识别　词语特征项　关键词提取 中图分类号　ＴＰ３９１　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１４．０２．０４７ ＯＮＡＮＩＭＰＲＯＶＥＤＮＡＶＥＢＡＹＥＳＩＡＮＫＥＹＷＯＲＤＥＸＴＲＡＣＴＩＯＮＡＬＧＯＲＩＴＨＭ ＷａｎｇＪｉｎｂｏ　ＷａｎｇＬｉａｎｚｈｉ　ＧａｏＷａｎｌｉｎ　ＹｕＪｉａｎ （ＣｏｌｌｅｇｅｏｆＩｎｆｏｒｍａｔｉｏｎａｎｄＥｌｅｃｔｒｉｃａｌＥｎｇｉｎｅｅｒｉｎｇ，ＣｈｉｎａＡｇｒｉｃｕｌｔｕｒａｌＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１０００８３，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｉｎｏｒｄｅｒｔｏｉｍｐｒｏｖｅｔｈｅｋｅｙｗｏｒｄｅｘｔｒａｃｔｉｏｎａｃｃｕｒａｃｙ，ｂａｓｅｄｏｎｒｅｃｏｇｎｉｓｉｎｇｔｈｅｃｏｍｐｏｕｎｄｂｙｕｓｉｎｇｃｏｏｃｃｕｒｒｅｎｃｅｆｒｅｑｕｅｎｃｙｏｆ ｔｈｅｗｏｒｄｓｂｅｆｏｒｅａｎｄａｆｔｅｒｔｈｅｉｄｅｎｔｉｃａｌｗｏｒｄｓｉｎｔｅｘｔ，ｗｅｐｒｏｐｏｓｅａｎａｖｅＢａｙｅｓｉａｎｋｅｙｗｏｒｄｅｘｔｒａｃｔｉｏｎａｌｇｏｒｉｔｈｍｗｈｉｃｈｉｓｂａｓｅｄｏｎｔｈｅ ｉｍｐｒｏｖｅｍｅｎｔｏｆｓｔａｔｉｓｔｉｃａｌｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｗｏｒｄｓａｎｄｅｘｐｒｅｓｓｉｏｎｓ．Ｔｈｅａｌｇｏｒｉｔｈｍｓｅｌｅｃｔｓｔｈｅｗｏｒｄｌｅｎｇｔｈ，ｔｈｅｐａｒｔｏｆｓｐｅｅｃｈ，ｔｈｅｐｏｓｉｔｉｏｎａｎｄ ｔｈｅＴＦＩＤＦｖａｌｕｅｏｆｔｈｅｗｏｒｄｓａｎｄｅｘｐｒｅｓｓｉｏｎｓａｓｔｈｅｆｅａｔｕｒｅｉｔｅｍｓｏｆｔｈｅｗｏｒｄｓａｎｄｅｘｐｒｅｓｓｉｏｎｓ，ｉｍｐｒｏｖｅｓｔｈｅｍｅｔｈｏｄｏｆｃｏｕｎｔｉｎｇｔｈｅｗｏｒｄ ｌｅｎｇｔｈ，ＴＦＩＤＦａｎｄｗｏｒｄｆｒｅｑｕｅｎｃｙ，ｍａｋｅｓｔｈｏｓｅｗｏｒｄｓｗｉｔｈｌｏｎｇｅｒｌｅｎｇｔｈａｎｄｈｉｇｈｅｒＴＦＩＤＦｖａｌｕｅｈａｖｅｈｉｇｈｅｒｐｒｏｂａｂｉｌｉｔｙ．Ｗｈｉｌｅｃｏｕｎｔｉｎｇ ｔｈｅｗｏｒｄｆｒｅｑｕｅｎｃｙ，ｉｔｃｏｎｓｉｄｅｒｓｔｈｅｒｅｌａｔｉｏｎｓｈｉｐｏｆｃｏｎｔａｉｎｉｎｇａｎｄｔｏｂｅｃｏｎｔａｉｎｅｄｂｅｔｗｅｅｎｔｈｅｗｏｒｄｓ．Ｔｈｅｎ，ｉｔｕｓｅｓｎａｖｅＢａｙｅｓｉａｎｍｏｄｅｌｔｏ ｔｒａｉｎｔｈｅｔｅｘｔｓｗｉｔｈｔｈｅｋｅｙｗｏｒｄｓｍａｒｋｅｄａｎｄｔｏｇｅｔｔｈｅｏｃｃｕｒｒｅｎｃｅｐｒｏｂａｂｉｌｉｔｙｏｆｅａｃｈｆｅａｔｕｒｅｉｔｅｍｆｏｒｅｘｔｒａｃｔｉｎｇｔｈｅｋｅｙｗｏｒｄｓｏｆｔｅｘｔ． Ａｃｃｏｒｄｉｎｇｔｏｔｈｅｅｘｐｅｒｉｍｅｎｔ，ｔｈｅｋｅｙｗｏｒｄｓｅｘｔｒａｃｔｅｄｂｙｔｈｅａｌｇｏｒｉｔｈｍｉｎｔｈｉｓｐａｐｅｒｈａｖｅａｈｉｇｈｅｒｐｒｅｃｉｓｉｏｎｒａｔｅａｎｄｒｅａｄａｂｉｌｉｔｙｔｈａｎｂｙｔｈｅ ｔｒａｄｉｔｉｏｎａｌｗｏｒｄｆｒｅｑｕｅｎｃｙｂａｓｅｄａｎｄｄｅｃｉｓｉｏｎｔｒｅｅＣ４．５ｂａｓｅｄｋｅｙｗｏｒｄｅｘｔｒａｃｔｉｏｎａｌｇｏｒｉｔｈｍｓ． Ｋｅｙｗｏｒｄｓ　　ＮａｖｅＢａｙｅｓ　Ｃｏｍｐｏ