概率主题模型和其在关联文本分类中的应用研究.pdfVIP

摘要 摘 要 随着互联网技术的快速发展，网络上以文本形式存在的信息迅速增加，如何 有效地组织和管理这些文本信息是当前信息科学领域面临的一个重要挑战。文 本分类可以解决大量文本信息的归类问题，是组织和管理海量文本信息的有效 手段。同时，由于主题模型可以捕获到文档集合的语义结构信息，将主题模型 应用于文本分类是提高分类器性能的有效途径之一。 目前，基于LDA的监督主题模型sLDA以及传统的文本分类算法假设文档 之间相互独立。然而，在实际情况中，文档之间可以存在关联关系，比如，从 科技文献数据库(C．DBLP，DBLP等)中抽取出的文档可以根据文献之间的引用 关系形成文档网络；网页可以根据超链接进行关联。当关联关系对文档属性的 判断有重要影响并且文档包含的文本信息较少时，监督主题模型以及传统的文 本分类方法(SVM、朴素贝叶斯等)的性能会有所下降。 iTopicModel通过多变量马尔可夫随机场建模文档网络结构，将文档间的关 联关系及文本信息进行统一建模，并且iTopicModel可以处理既有权重又有方向 的文本信息网络。本文中，我们基于iTopicModel提出了一个新颖的概率主题模 型(SRTM)，将文档间的关联关系、文档的文本信息、文档的标号进行统一建模。 首先用古典线性回归模型对文档标号进行建模，给出SRTM的联合概率分布， 通过EM算法最大化联合概率分布的对数似然对SRTM的参数进行估计，然后 给出对训练数据以外文档的标号进行预测的方法。最后我们用广义线性模型对 文档标号进行建模，对SRTM进行扩展，使SRTM可以处理多种类型的文档标 号。Cora研究论文分类数据集和电影评论数据集上的实验表明，在文档网络中， SRTM的预测结果要优于现有的监督主题模型。 本分类算法TC．iTM，该算法根据类信息已知的文档归属于各个主题的概率判断 主题代表的类信息，根据待分类文档归属于各个主题的概率及文本信息对文档 进行分类。在Cora研究论文分类数据集和DBLP数据集上的实验结果表明，当 文档间的关联关系对类信息有较大影响时，TC．iTM的性能优于传统的文本分类 方法。 关键词：主题模型文档网络预测线性回归文本分类 Abstract Abstract Wimthe oftheweb informationinthe rapiddevelopment technology,online formoftext to and thesetext growsexcessively．Howorganizemanage information howto usersfindtheinformationneed inashort efficiently，andhelp they accurately timebecome inthefiledof challengingproblems theinformationscience．Text at classificationwhichaims the amountoftextinformationisall categorizinghuge effective to and thesetextinformation．Atthesame approachorganizemanage time， since modelsCanuncoverthe semanticstructureofdocument topic underlying