基于图注意力神经网络的半监督文本分类.pdfVIP

基于图注意力神经网络的半监督文本分类 摘 要 文本分类是自然语言处理中最基础也是最重要的任务之一，它可以发现文档之间的 规律并判别不同文档的类别。文本分类利用数据挖掘和机器学习等常用方法，可以对文 本或数据进行有效分类，为文本的获取和利用提供了更高效的方法。随着 web2.0 时代 的到来，产生的各种类型的数据和信息使得数据呈爆炸式增长，给信息检索带来很大的 困扰。在海量的文本数据中实现对文本的快速分类，并且实现文章推荐、语义分析、信 息检索、信息抽取和机器翻译等需求成为研究热点。 本文首先介绍了基于特征融合的文本信息图的构建。由于有些文本数据是关系型数 据，数据与数据之间会存在某种关系。比如引文网络，在引文网络中文本与文本之间存 在引用关系，利用引用关系可以清楚地判别两篇或多篇文章是否为同一类文章。本文所 设计的文本信息图主要是通过抽取文本的概要特征，并将文本作为节点，引用关系作为 边，根据文本间的参照关系进行构造。然后通过图所蕴含的文本间的多层特征融合关系， 讨论了文本间不同的关联关系。 其次提出了加入残差连接的图卷积神经网络。由于神经网络模型在层数很深时容易 出现过平滑问题，这限制了模型从高阶提取信息的能力。而对于很多非结构化数据，与 其距离较远、间接相连的节点也存在有用信息。因此我们在图神经网络的基础上引入了 残差连接。残差连接保证了网络参数可以在深层次网络中进行更新和学习，避免了过平 滑问题的产生。 最后提出了基于双层注意力机制的半监督文本分类模型。图卷积神经网络（Graph Convolutional Network, GCN ）由于其可扩展性和高效性，被广泛用于文本分类任务中。 但是 GCN 进行分类时需要读取整个图结构，然而图结构非常庞大。因此本文利用图中 信息传播的特点提出了类别级和节点级双层注意力机制，可以为节点的相邻节点分配不 同的权重，通过只关注局部图（节点的邻近节点区域）来避免读取整个图结构，从而降 低计算复杂度，节省存储空间。为证明本文提出的模型的有效性，将该模型与其他模型 做了相应的对比实验，实验结果表明该模型在五个基准数据集上均取得了不错的效果。 关键词：文本分类；文本信息图；图卷积神经网络；残差连接；注意力机制 I 目录 目 录 1 绪论 1 1.1 选题背景及研究意义 1 1.2 国内外研究现状 2 1.3 论文研究内容与结构安排 4 2 相关理论基础 6 2.1 文本分类概述 6 2.1.1 文本预处理 6 2.1.2 特征提取 8 2.1.3 文本表示 8 2.1.4 分类器训练与评估 8 2.2 文本分类学习模型 9 2.2.1 浅层学习模型 9 2.2.2 深度学习模型 9 2.3 图神经网络 10 2.4 激活函数与防止过拟合 12 2.5 本章小结 13 3 基于残差连接和双层注意力的分类模型 14 3.1 引言 14 3.2 整体网络结构 15 3.3 基于特征融合的文本信息图 17 3.3.1 文本信息图 17 3.3.2 特征融合文本信息图 19 3.4 基于残差连接的图卷积网络 21 3.5 基于双层注意力机制的文本分类 22 3.5.1 类别级注意机制 22 3.5.2 节点级注意机