基于多特征融合和注意力机制的情感分类研究.pdfVIP

臣心一片磁针石，不指南方不肯休。——文天祥

基于多特征融合和注意力机制的情感

分类探究

关键词：情感分类；多特征融合；注意力机制；卷积神经网络；

Softmax分类器

引言

目前，情感计算已经广泛应用于社交网络、电商评论、舆情分

析等领域。而情感分类是情感计算中的基础任务。传统文本分

类方法需要选择出特征用以表示文本，例如文本的词袋模型、

n-gram模型、TF-IDF等，并使用传统分类器（如SVM、简易

贝叶斯等）进行分类。但这种方法存在着固有的问题，如特征

选择需要大量的人工干预和领域知识；高维度的特征向量会导

致计算复杂度上升，甚至因“维数灾难”而导致分类性能下降。

随着深度进修的进步，深度神经网络在文本分类上的表现也越

来越引人关注。近年来，基于卷积神经网络进行文本分类的方

法已经得到了广泛探究与应用。

提出的方法

本探究提出一种基于多特征融合和注意力机制的情感分类方法。

整个模型由四个主要模块组成：词嵌入模块、特征提取模块、

注意力模块和分类模块。

词嵌入模块

臣心一片磁针石，不指南方不肯休。——文天祥

起首，我们接受预训练的词向量来将文本转化为向量表示。常

见的词向量有Word2Vec、GloVe等。在词向量中，每个单词都

被映射成一个向量，该向量能反映单词之间的语义干系。

特征提取模块

在这一模块中，我们提取了词法特征、情感词特征、文本长度

特征。起首，我们通过文本的词性标注，提取文本中的词法特

征；然后，我们利用情感词典提取出给定文本中的情感词特征；

最后，我们加入文本长度特征，用以描述文本本身的信息。这

三类特征分别输入到CNN中进行特征提取。

注意力模块

我们使用注意力机制来提高这些特征的区分度。注意力机制的

思想源于人类的视觉注意力，即随着任务的需要，不同的区域

和特征会呈现出不同的关注度。我们通过加入注意力机制，使

得模型能够重视重要的特征和区域，从而提高了模型的性能。

分类模块

在分类模块中，我们接受Softmax分类器进行分类。通过对训

练集进行训练，得到最终的情感分类模型。

试验结果分析

我们在国内外情感分类数据集上进行了试验。在评判指标方面，

我们选择了准确率和F1值。试验中，我们与传统的文本分类

方法SVM、简易贝叶斯、最大熵模型进行了比较。试验结果表

明，我们提出的方法在各项指标上都优于传统方法。在情感分

类任务上，我们提出的方法取得了较好的性能。同时，本探究

臣心一片磁针石，不指南方不肯休。——文天祥

进一步探讨了不同特征对情感分类的影响，试验结果表明，加

入注意力机制后，不同特征的影响更加均衡，从而进一步提高

了模型的性能。

结论

本探究提出了一种基于多特征融合和注意力机制的情感分类方

法，并在国内外情感分类数据集上进行了试验。试验结果表明，

该方法能够有效地提高情感分类的性能，在实际应用中具有一

定的价值。本探究对于探究如何利用深度进修算法解决情感计

算问题提供了参考。

另外，本探究还分析了模型的鲁棒性和可诠释性。在鲁棒性方

面，我们进行了对抗攻击试验，结果表明，我们的方法在对抗

攻击下能够保持较好的性能。在可诠释性方面，我们通过可视

化注意力权重，得到了模型对于不同特征的关注度状况，进一

步验证了我们方法的有效性。

总之，本探究提出了一种针对情感分类问题的深度