基于隐马尔科夫模型与语义融合的文本分类.PDF

第３４卷第７期　　　 计算机应用与软件 Ｖｏｌ３４Ｎｏ．７ ２０１７年７月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｊｕｌ．２０１７ 基于隐马尔科夫模型与语义融合的文本分类 高知新　徐林会 （辽宁工程技术大学理学院　辽宁阜新 １２３０００） 摘　要　　提出一种融合语义的隐马尔科夫模型用于文本分类的方法。将特征词的语义作为先验知识融合到隐 马尔科夫分类模型中。通过信息增益提取特征词，用ｗｏｒｄ２ｖｅｃ提取特征词语义，将每一个类别映射成一个隐马 尔科夫分类模型，模型中状态转移过程就是该类文本生成过程。将待分文本与分类模型做相似度比较，取得最大 类别输出概率。该方法不仅考虑特征词、词频、文档数量先验知识，而且将特征词语义融合到隐马尔科夫分类模 型中。通过实验评估，取得了比原ＨＭＭ模型和朴素贝叶斯分类模型更好的分类效果。 关键词　　隐马尔科夫模型　语义融合　ｗｏｒｄ２ｖｅｃ　信息增益　文本分类 中图分类号　ＴＰ３　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１７．０７．０５６ ＴＥＸＴＣＬＡＳＳＩＦＩＣＡＴＩＯＮＢＡＳＥＤＯＮＨＩＤＤＥＮＭＡＲＫＯＶＭＯＤＥＬＡＮＤＳＥＭＡＮＴＩＣＦＵＳＩＯＮ ＧａｏＺｈｉｘｉｎ　ＸｕＬｉｎｈｕｉ （ＣｏｌｌｅｇｅｏｆＳｃｉｅｎｃｅ，ＬｉａｏｎｉｎｇＴｅｃｈｎｉｃａｌＵｎｉｖｅｒｓｉｔｙ，Ｆｕｘｉｎ１２３０００，Ｌｉａｏｎｉｎｇ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｉｎｔｈｉｓｐａｐｅｒ，ａｔｅｘｔｃｌａｓｓｉｆｉｃａｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎＨｉｄｄｅｎＭａｒｋｏｖＭｏｄｅｌａｎｄｓｅｍａｎｔｉｃｆｕｓｉｏｎｉｓ ｐｒｏｐｏｓｅｄ．ＴｈｅｓｅｍａｎｔｉｃｓｏｆｔｈｅｆｅａｔｕｒｅｗｏｒｄｓａｒｅｉｎｔｅｇｒａｔｅｄｉｎｔｏｔｈｅｈｉｄｄｅｎＭａｒｋｏｖｍｏｄｅｌａｓａｐｒｉｏｒｉｋｎｏｗｌｅｄｇｅ．Ｔｈｅｎ， ｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｗｏｒｄｓｗｅｒｅｅｘｔｒａｃｔｅｄｂｙｉｎｆｏｒｍａｔｉｏｎｇａｉｎ，ａｎｄｔｈｅｆｅａｔｕｒｅｗｏｒｄｓｓｅｍａｎｔｉｃｓｗｅｒｅｅｘｔｒａｃｔｅｄｂｙｔｈｅ ｗｏｒｄ２ｖｅｃ．ＥａｃｈｃｌａｓｓｗａｓｍａｐｐｅｄｉｎｔｏａｈｉｄｄｅｎＭａｒｋｏｖｍｏｄｅｌ，ａｎｄｔｈｅｓｔａｔｅｔｒａｎｓｉｔｉｏｎｐｒｏｃｅｓｓｉｎｔｈｅｍｏｄｅｌｗａｓｔｈｅｔｅｘｔ ｇｅｎｅｒａｔｉｏｎｐｒｏｃｅｓｓ．Ｔｈｅｓｉｍｉｌａｒｉｔｙｂｅｔｗｅｅｎｔｈｅｔｅｘｔｔｏｂｅｃｌａｓｓｉｆｉｅｄａｎｄｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎｍｏｄｅｌｗａｓｃｏｍｐａｒｅｄｔｏｏｂｔａｉｎ ｔｈｅｍａｘｉｍｕｍｃｌａｓｓｏｕｔｐｕｔｐｒｏｂａｂｉｌｉｔｙ．Ｔｈｉｓｍｅｔｈｏｄｎｏｔｏｎｌｙｃｏｎｓｉｄｅｒｓｔｈｅｐｒｉｏｒｋｎｏｗｌｅｄｇｅｏｆｆｅａｔｕｒｅｗｏｒｄｓ，ｗｏｒｄ ｆｒｅｑｕｅｎｃｙａｎｄｄｏｃｕｍｅｎｔｑｕａｎｔｉｔｙ，ｂｕｔａｌｓｏｉｎｔｅｇｒａｔｅｓｔｈｅｓｅｍａｎｔｉｃｏｆｆｅａｔｕｒｅｗｏｒｄｓｉｎｔｏｈｉｄｄｅｎＭａｒｋｏｖｃｌａｓｓｉｆｉｃａｔｉｏｎ ｍｏｄｅｌ．Ｔｈｒｏｕｇｈｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｅｖａｌｕａｔｉｏｎ，ｗｅｇｏｔｂｅｔｔｅｒｃｌａｓｓｉｆｉｃａｔｉｏｎｒｅｓｕｌｔｔｈａｎｔｈｅｏｒｉｇｉｎａｌＨＭＭｍｏｄｅｌａｎｄＮａｉｖｅ Ｂａｙｅｓｃｌａｓｓｉｆｉｃａｔｉｏｎｍｏｄｅｌ． Ｋｅｙｗｏｒｄｓ　　ＨｉｄｄｅｎＭａｒｋｏｖｍｏｄｅｌ　Ｓｅｍａｎｔｉｃｆｕｓｉｏｎ　ｗｏｒｄ２ｖｅｃ　Ｉｎｆｏｒｍａｔｉｏｎｇａｉｎ　Ｔｅｘｔｃｌａｓｓｉｆｉｃａｔｉｏｎ 量空间模型表示成空间向量，利用ＴＦＩＤＦ表示文本权 ０　引　言 重，对文本进行分类；文献［２］讨论了统计模型在文本 分类中的应用；文献［３］将支持向量机应用与文本分 近年来随着Ｗｅｂ和移动互