原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
小型微型计算机系统2025年1月第1期
DOI:10.20009/ki.21-1106/TP.2023-0416
JournalofChineseComputerSystemsVol.46No.12025
面向CNN和Transformer的自注意力机制自适应性提示学习
杨鹏跃,王锋,魏巍
（山西大学计算机与信息技术学院，太原030006）
E-mailxuwangfeng@126.com
摘要：随着大规模预训练模型对视觉领域中的一般性数据的深入研究，当将其应用于特定下游任务时，若模型只训练分类头
方法则极其依赖于预训练模型且效果一般；而全面微调预训练模型也因模型参数过大而变得不切实际；另外如VPT等视觉提
示学习方法在图像数据集具有很大的数据多样性时，每个数据集的通用提示在向原始预训练数据分布转变时会带来极大的挑
战.基于以上的种种挑战，本文提出一种新的提示学习方法，即在输入空间中添加特定任务的自注意力机制提示块，并在增强通
道间的竞争条件下，引入极小的参数量进行预训练模型的自适应性调整，最终实现将视觉领域中具有一般性的特征信息应用于
特定的视觉任务.实验以CNN和Transformer代表性的网络为基础模型并选取CIFAR、TinyImageNet等数据集，结果表明本文
提出的方法相比常见的微调方法在平均准确率上提高了0.55%、1.86%。
关键词：模型的微调；数据多样性；提示学习；自注意力机制提示块；自适应性调整
中图分类号：TP391文献标识码：A文章编号：1000-1220(2025)01-0016-07
Self-attentionMechanismAdaptivePromptLearningforCNNsandTransformers
YANGPengyue,WANGFeng,WEIWei
(SchoolofComputerInformationTechnology,ShanxiUniversity,Taiyuan030006,China)
Abstract:Aslarge-scalepre-trainedmodelsaredeeplystudiedforgeneralizeddatainthevisualdomain,whenapplyingthemtospecif-
icdownstreamtasks,ifthemodelsaretrainedonlyforclassificationheadmethods,theyareextremelydependentonthepre-trained
modelsandtheresultsaremediocre;whilefullyfine-tuningthepre-trainedmodelsbecomesimpracticalduetotheoverlylargemodel
parameters;andalsovisualpromptlearningmethods,suchasVPT,arenoteffectiveinthecasewheretheimagedatasetshavealarge
diversityofdata.Generalizedpromptsforeachdatasetposeagreatchallengewhenshiftingtotheoriginalpre-trainingdatadistribu-
tion.Basedontheabovechallenges,thispaperproposesanewpromptlearningmethod,i.e.,addingtask-specificself-attentionmecha-
nismpromptblocksintheinputspace,andintroducingaverysmallnumberofparametersun
文档评论（0）