面向文本分类的文本特征学习技术研究-计算机软件与理论专业毕业论文.docx

东北大学博士学位论文 东北大学博士学位论文 摘要 面向文本分类的文本特征学习技术研究 摘 要 面对互联网上文档资源日益丰富的情况，文本分类旨在自动对文档归类， 使人们便于收集和管理各种文档，因此文本分类具有广泛的应用背景和较高的 实J叶j价值。但是，现存文本分类系统仍然存在很多问题。 本文研究工作紧紧的围绕文本特征学习，从不同方面展开文本特征的自动 学习。作者在前人jI作的基础上提出一些新的处理技术和模型，取得～些研究 成果。主要创新点包括： ·提出一种自动学习领域关联词的算法，并把学习到的领域关联词用作文本 特征，构造一个无指导的文奉分类系统。该算法应用Bootstaapping的学习 框架，从大规模的无标注文本语料中，计算候选词和领域种子词集的关联 度，从中选取关联度人的词做为新的领域关联词。该算法输入是人规模的 无标注文本语料和少量种子词。接着，把领域灵联词用作文本特征，构造 一个无指导的文本分类系统。该文本分类系统不用任何的人工标注分类语 料，只需要每个类别手工构造少量的种子词(3。10个)。通过这个算法，我们 可以存新的分类体系中很快构建出新的文本分类系统。 ·提出～种弱指导的文本分类系统的构建方法，该方法使用大规模无标注语 料来改善分类器的训练效果。训练过程：首先，使用小标注语料来训练初 始最大熵分类器；用训练好的最大熵分类器对元标注文本语料进行类别标 注，从中选择黄信度高的文档作为下一轮训练时的训练语料：再次训练分 类器：如此循环训练、标注，直到学习结束。也就是利用大规模的无标注 文本语料，来改善基_丁小标注训练集的晟大熵模型分类器训练效果。 ·提m一种基．丁全局信息的词聚类模型一globalCM。在聚类过程中，该模型 充分利用当前所有簇的信息来参与相似度的计算，克服了旧有模型只考虑 相哭的两个簇信息造成聚类效果差的问题。实验表明，globalCM的词聚 类效果优于传统的聚类方法。然后，把学习的词簇用作文本特征，构建一 个基于词簇文本特征的分类系统。实验结果表明，基于词簇文本特征表示 具有明显的降维效果，和基于诃特征的特征选取方法相比，降维幅度大约 一II— 东北大学博士学位论文 东北大学博士学位论文 摘要 为100倍。 ·提出一种基-于ZOntology的领域知识库构建方法。首先，给出两个基本概念 定义：领域关联词和领域特征属性。接着，采用框架表示法来表示领域知 识。最后，详细描述了东北大学自然语言处理实验室领域知识库的构建方 法，并给出～个实际构建“军事”领域知识库的例子。 ·提出把领域知识库用于文本特征表示的两种方法。第～种表示：用领域知 识库中的领域关联词作为文本特征；第二种表示：用领域知识库中的领域 特征属性作为文本特征。实验结果表明，用领域关联词作为文本特征，有 助于增强文术特征的表达能力。 ·提出一个自划分学习模型，以解决领域知识库覆盖度不足的问题。该模型 结合Bootstrapping学习框架和globalCM模型，按照领域知识库的结构，自 动把候选词划分到相关领域中。文中把学习结果用于文本特征表示。实验 结果表明，这种学习模型可以进。步提高领域知识库在文本分类中的作 用。 ·提出一个领域知识库的半自动构建模型。采用上述的自划分学习模型，学 习出新的领域关联词。构成一个候选集，提供给领域知识专家作为选择对 象。然后，专家从中选取合适的领域关联词添加到领域知识库中。这样可 以大大减少人工劳动量，提高工作效率。 关键词：文本分类，文本特征学习，机器学习，领域知识 东北大学博士学位论文 东北大学博士学位论文 Abstract Research on Text Feature Learning for Text Categorization Abstract There more and more elec仃onic readable texts in the intemet recent years． Text Categorization group the flee documents into the predefined categories tomatically,and help collect and manage the documents．However,the current text categorization systems still have many problems． This dissertation focuses on how tO learn text features for text categorization．We propose some new models for text feature learning based On the pre