基于多模型的混合架构情感分析.docx

?

?

基于多模型的混合架构情感分析

?

?

苗小爱冷雪亮邵婉露

摘?要：情感分析是自然语言处理（NLP）中十分重要的环节，随着网络发展人们在网络生活中留下的大量情感评论信息。已有的研究大量使用循环神经网络（RNN）和卷积神经网络（CNN）做情感分析。近期注意力机制在NLP领域被广泛使用，并取得突破性进展。为了改善传统模型，充分利用网络评论数据，结合长短时记忆网络（biLSTM），CNN，并使用Transformer机制构建新模型。新模型中，biLSTM编码双上上下文信息，然后CNN部分模拟Text-CNN使用三个不同大小的窗口进行卷积获取句子间的双向信息，最后使用没有前馈操作的Transformer编码器代替传统Max-pooling操作避免信息损失。该模型简称为Multi-ModelStackNeuralNetwork（MMSNN）。与传统biLSTM基线模型和Text-CNN模型在IMDE数据集上进行对比，MMSNN在准确率和损失上均获得最好的效果。

关键词：自然语言处理;情感分析;transformer;Text-CNN;BiGRU

：TP183???：A???DOI：10.3969/j.issn.1003-6970.2020.09.036

【Abstract】：Sentimentanalysisisaveryimportantpartofnaturallanguageprocessing（NLP）.WiththeInternet，peoplesendalotofsentimentcommentinformationinonlinelife.Existingresearchesmakeextensiveuseofrecurrentneuralnetworks（RNN）andconvolutionalneuralnetworks（CNN）forsensoryanalysis.TheattentionmechanismhasbeenwidelyusedintheNLPfieldrecently，andhasachievedbreakthroughdevelopment.Inordertoimprovethetraditionalmodel，makefulluseofnetworkcommentdata，combinedwithlongandshorttimememorynetwork（biLSTM），CNN，andusetheTransformermechanismtobuildanewmodel.Inthenewmodel，biLSTMencodesdouble-upcontextinformation，thenCNNpartiallysimulatesText-CNNtoconvolvewiththreewindowsofdifferentsizestoobtainbidirectionalinformationbetweensentences，andfinallyusesaTransformerencoderwithoutfeedforwardoperationinsteadoftraditionalMax-poolingOperationtoavoidlossofinformation.ThemodelisreferredtoasMulti-modelStackNeuralNetwork（MMSNN）forshort.ComparedwiththetraditionalbiLSTMbaselinemodelandText-CNNmodelontheIMDEdataset，MMSNNachievesthebestresultsinbothaccuracyandloss.

【Keywords】：Naturallanguageprocessing;Sentimentanalysis;Transformer;Text-CNN;BiGRU

0?引言

隨着社交软件的多样化，网络上的情感数据规模迅速增加，这些文本在各种研究科开发中广泛使用，因此情感分析任务在自然语言处理中的一个重要方向。现有基本模型的问题是：（1）使用RNN模型容易出现梯度爆炸或梯度消失问题。（2）虽然在序列问题上CNN模型（Kim等人[1]）能取得很好的效