基于转置结构的注意力网络的文本分类方法的研究.pdfVIP

华东师范大学硕士学位论文 内容摘要 文本分类是一项重要的自然语言处理任务，目前的研究虽取得了不错的成 绩，但依然存在不足。基于循环神经网络的文本分类方法只能获取局部文本信息。 基于卷积神经网络的方法只有深层的结构才有上下文联系能力。池化操作对特征 图进行压缩只能选择最重要的特征或均等的对待每个特征。 针对上述问题，本文提出了门控和转置结构的注意力文本分类网络。转置结 构具有全局的上下文联系能力，门控结构具有特征选择能力，利用注意力机制将 特征图压缩，能够考虑不同特征的重要性。为了验证模型的效果，本文在六个数 据集上做了试验，与以往的分类模型相比，该网络模型在复杂度最低的情况下， 在四个数据集上实现了最高的分类准确率，但在两个较大数据集上效果不佳。 为使网络更好地适应大数据集上的文本分类任务，本文在上一网络模型的基 础上，通过增加双向LSTM 和对属性特征的注意力提出了结合双向LSTM 和属 性注意力的文本分类网络。双向LSTM 可以提升网络对局部特征的提取能力， 对属性特征进行注意力可以使注意力机制保留位置信息。最后，本文在七个大数 据集上的试验结果显示此模型在四个大数据集中取得了最好效果，在剩余三个数 据集上的试验结果也非常具有竞争力，且此模型的时间和空间复杂度较低。 关键字：分类准确率；文本分类；神经网络；网络结构；模型复杂度； I 华东师范大学硕士学位论文 ABSTRACT Text classification is an important natural languageprocessing task.Although the current research hasachieved goodresults,there are stillmany shortcomings.Thetext classification method based on recurrent neural network can only obtain local text information.The method based on convolutional neural network has the capability to contact context only in the deep structure. The pooling operation can compress the featuremap onlyto selectthemost important featureortreat each featureequally. In response to the above problems, this paper proposes a gated and transposed attention text classification network. The transposed structure has global contextual connection capability, the gated structure has feature selection capability, using the attention mechanism to compress feature maps can consider the importance of different features. To verify the validity of the model, this paper conducted experiments on six data sets. Compared with the previous classification models, the network model achieved the highest classification accuracy on the four data setswith thelowest complexity.But it doesnotworkwellontwolarger data sets. In order to make the network b