基于隐马尔科夫模型的文本分类 - 石家庄铁道大学学报（自然科学版）.pdf

26 1 ( ) Vol． 26 No． 1 第 卷 第 期 石家庄铁道大学学报 自然科学版 20 13 3 JOURNAL OF SHIJIAZHUANG TIEDAO UNIVERSITY (NATURAL SCIENCE) Mar． 20 13 年 月  基于隐马尔科夫模型的文本分类 ， 刘晓飞 邸书灵 ( ， 050043) 石家庄铁道大学信息科学与技术学院 河北石家庄 : ， 。 摘要 文本分类经过多年的发展 已经产生了很多成熟高效的算法 将隐马尔科夫模型用 ， ，2 ， 于文本分类 对每个文本类构建一个隐马尔科夫模型 χ 检验获得类别特征词集 其状态转移表 ， ， 示按照一指定顺序对类别特征词集进行遍历 状态输出符号为特征词的词频 隐马尔科夫模型 。 HMM 的状态转移过程隐含的表示了属于该类的文本的形成过程 具有最大概率的 分类器就是 。 ， ， 所属的类别 该算法不仅将特征词考虑进去 而且还将词频信息融入隐马尔科夫模型中 实验 结果表明该方法分类效率较高。 2 : ; ; ; ; 关键词 文本分类 隐马尔科夫模型 信息增益 χ 检验 泊松分布 中图分类号:TP182 文献标识码:A 文章编号:2095 0373 (20 13)0 1 0 10 1 06 0 引言 ， ， ， 近些年来随着网络的不断发展 各种信息的增长速度越来越快 其中文本信息占有重要地位 面对这 ， 、 ， 些越来越多的信息 如何快速而有效的进行组织 管理以及使用是当今信息处理的一个重要课题 而这也 促进了文本分类技术的发展。 。 文本分类就是将未分类的文本根据一定的分类算法分配到正确的类别中 文本分类的应用十分广 ， 、 、 、 。 泛 在搜索引擎 信息过滤 文本识别 数字图书馆等方面均已成为关键技术之一 ， 。 SVM 文本分类发展至今 已经产生了很多种模型和算法 在文本分类中比较常用的分类算法有 算 ［1］ ［2］ ［3