CTM主题模型在学科主题识别与学科文献分类中的应用研究.pdfVIP

摘要 摘要 科学技术突飞猛进促进了学科间交流合作，带动了各学科发展。学科文献作为学科知 识的承载体，其数量呈高速膨胀的增长态势。要想从繁杂的文献中快速地探测学科研究趋 势掌握研究热点并且准确地检索到自己的目标文献，就需要文本数据分析技术的支持。 近年来，机器学习的广泛应用使得主题模型得到研究者们重点关注。其中相关主题模 型（Correlated Topic Model ，CTM ）不仅能够挖掘主题粒度的语义信息，还可以利用主题 对文本数据进行降维。与主题模型家族中另一个优秀模型——潜在狄利克雷分配模型 （Latent Dirichlet Allocation ，LDA ）相比，CTM 主题模型能够捕获主题与主题之间的相关 性，具有丰富的文本表示能力。因而，该模型在自然语言处理、数据挖掘和人工智能等领 域占领一席之地。此外，该模型不仅可以处理文本数据，还可以作用于图像数据、语音数 据等实体。 基于已有研究，本文重点探究如何利用 CTM 主题模型对学科主题识别以及学科文献 自动分类。具体内容如下：前两章主要对国内外主题模型发展以及在学科主题识别与学科 文献分类方面的研究做了详细的综述，指出研究中存在的不足。介绍了文本挖掘流程以及 各个流程的详细操作步骤，并对 CTM 主题模型的文档生成过程、后验推断与参数估计做 了详细解释。第三章中探究CTM 主题模型在主题识别方面的优点。通过CTM 主题模型对 两学科交叉主题分时间段进行识别，利用文档主题概率分布计算主题强度并计算各个时间 段主题相似度，动态展现学科交叉主题演化过程。实验证明，CTM 主题模型能够较全面地 识别学科交叉的主题。第四章中基于 CTM 主题模型良好的学科主题识别能力提出将该模 型与KNN 分类算法结合的C-KNN 分类方法，将主题信息纳入到对学科文献的分类中，既 保留学科主题信息的同时降低语料库维度，解决传统 KNN 分类算法在计算文本相似度时 因计算量大、未考虑语义信息而导致分类效果较差的问题。与传统 KNN 分类算法、基于 LDA 主题模型的KNN 分类算法进行比较，证明C-KNN 分类算法对多学科文献分类效果 较好。最后一章对全文研究内容加以总结，并根据研究中存在的不足对接下来的研究工作 进行展望。 关键词：CTM 主题模型；主题识别；文献分类 I Abstract Abstract The rapid advancement of science and technology has promoted the exchanges and cooperation between disciplines and led to the development of various disciplines. As the carrier of subject knowledge, the subject literature has a rapid growth trend. In order to quickly detect the research trends of the subject from the complicated literature and accurately retrieve the target documents, it is necessary to get the support of text data analysis technology. In recent years, the wide application of machine learning has made topic models attract the attention of researchers. The Correlated Topic Model (CTM) can not only mine the semantic information of the to