基于lda与svm的文本分类研究.pdfVIP

密 级： 学校代码：10075 分类号： 学 号 工学硕士学位论文 学位申请人： 谢 静 指 导 教 师 ： 李昆仑 教授 学 位 类 别 ： 工学硕士 学 科 专 业 ： 通信与信息系统 授 予 单 位 ： 河北大学 答 辩 日 期 ： 二〇一二年六月 Classified Index: CODE: 10075 U.D.C: NO: A Dissertation for the Degree of M. Engineering Research on Text Categorization based on LDA and SVM Candidate: Xie Jing Supervisor: Prof. Li Kunlun Academic Degree Applied for: Master of Engineering Specialty: Comm. Info. System University: Hebei University Date of Oral Examination: June, 2012 摘 要 摘 要 文本自动分类是信息检索与数据挖掘领域的研究热点，近年来得到了广泛的关注和 快速的发展，它是机器学习和自然语言处理的关键技术之一。近几年，人们开始将机器 学习的方法应用到文本自动分类领域，它在分类效果和灵活性上都比传统的文本分类模 式有所发展，成为相关领域研究和应用的范例。 特征选择和分类算法是文本分类中两项关键的技术。在文本分类中，特征空间维数 过高引起“维数灾难”，传统特征选择方法在处理文本数据时，特征降维效果不佳，且 易忽视词间语义关系，直接影响分类性能。实际文本数据具有类别和样本数目多、噪音 多、各类别样本数目不均衡等特点，传统分类算法在分类精度和速度上不能兼顾。 本文对文本分类及其相关技术进行研究，从降低文本数据的维数，提高分类性能出 发，提出了相应的解决或改进的方法。本文的研究工作主要包括以下几个方面： （1）在文本预处理阶段加入词频和文档频度过滤，在经典的LDA 特征选择算法基 础上融入类别信息，发掘不同类别文档内部潜在主题的差异性，采取双重特征选择方法 以期选择对分类最有意义的特征词。 （2 ）针对大规模文本数据的特点，在各类别训练数据集上分别用LDA 模型进行主 题建模，利用 Gibbs 抽样参数推理，间接计算模型参数，把每个文本表示为固定隐含主 题集上的概率分布，从而获得文本集的隐含主题-文本矩阵，简化了文本数据，取得了 显著降维效果，缩短了分类算法的训练时间。 （3 ）在上述工作的基础上应用 SVM 分类算法，将 LDA 良好的文本特征表示性能 和 SVM 强大的分类能力结合起来。在中英文语料库上实验表明，与其它特征选择方法 和分类算法结合相比，本文的方法特征降维效果明显，F 值、Macro-F 、Micro- F 和精