融入孪生网络与自适应注意力的句子嵌入方法.pdfVIP

第42卷第5期微电子学与计算机Vol.42No.5

2025年5月MICROELECTRONICSCOMPUTERMay2025

引用格式：安俊秀，万里浪，蒋思畅．融入孪生网络与自适应注意力的句子嵌入方法[J].微电子学与计算机，2025，42（5）：115-

122．

ANJX，WANLL，JIANGSC.Sentenceembeddingmethodwithsiamesenetworkandadaptiveattention[J].Microelectronics

Computer，2025，42（5）：115-122.

DOI：10.19304/J.ISSN1000-7180.2024.0250

融入孪生网络与自适应注意力的句子嵌入方法

安俊秀，万里浪，蒋思畅

（成都信息工程大学软件工程学院,四川成都610225）

摘要：在句子嵌入研究中，当前主流方法是基于BERT的特殊分类标记[CLS]和基于Sentence-BERT的全局平

均标记[MEAN]。但前者着重于句子的全局信息，表示能力存在不足，后者则存在过度表达的问题。对此，提出了

一种融合孪生网络与自适应注意力的句子嵌入方法。首先，对BERT模型采用孪生网络结构，用来将句子对分别

独立地映射为词嵌入向量。其次，将向量通过均衡聚合层得到词均标记[MEAN-WORD]，然后将此标记与词嵌入

向量结合后再通过自适应注意力层得到动态标记[DYNAMIC]。最后，根据具体的下游任务对得到的标记结果进

行相应的后处理以便应用。在数据集STS-B与SNLI、SST-2上的实验证明：与近年来多种句子嵌入方法相比，该

方法能够生成更好的句子嵌入，具有更好的性能表现。另外，对该方法的动态标记进行了可视化分析，以便直观

理解。

关键词：句子嵌入；BERT；Sentence-BERT；孪生网络；自适应注意力

中图分类号：TP391文献标识码：A文章编号：1000-7180（2025）05-0115-08

Sentenceembeddingmethodwithsiamesenetworkand

adaptiveattention

ANJunxiu，WANLilang，JIANGSichang

（CollegeofSoftwareEngineering,ChengduUniversityofInformationTechnology,Chengdu610225,China）

Abstract：Inthestudyofsentenceembedding,thecurrentmainstreammethodsareBERT-basedspecialclassification

token[CLS]andSentence-BERT-basedglobalaveragetoken[MEAN].Buttheformerfocusontheglobalinformationof

sentencesandtherepresentationabilityisinsufficient,whilethelatterhastheproblemofover-expression.Inordertosolve

theaboveproblems,asentenceembeddingmethodcombiningsiamesenetwork