基于自注意力机制的回归方法研究.pdfVIP

基于自注意力机制的回归方法研究

摘要

随着信息时代的来临，实现与海量数据信息相结合的精确预测技术已经逐渐被应用

到了人工智能、金融、信息安全等各个领域。在人工智能领域，传统回归模型虽然能够

较好地对特定场景中的简单非线性函数进行拟合，但却存在着高维特征提取困难、工程

应用困难等缺陷。深度学习模型作为一类端到端的回归模型，具有很强的移植性与较高

的泛化能力，可以有效地刻画复杂的函数映射关系。因此，本文对基于自注意力机制的

深度学习模型进行改进，以轻量级的模型进行更加准确的回归预测，并将其应用到基于

遥感图像的土壤回归预测任务中，主要研究内容如下：

第一，本文针对自注意力机制模型普遍存在的编码层注意力图冗余的问题，提出了

跨层线性特征融合的解决方法，通过可视化注意力图，可以定性的发现本文提出的方法

有效抑制了编码层间的注意力图冗余的现象。针对样本数据量不足的问题，引入层剪枝

策略，从编码层深度上对于模型进行粗粒度的剪枝操作，并对于模型的宽度进行优化。

在缩减模型参数量的同时，又获得了推理速度与精度上的提升，实现轻量级的回归模型。

实验结果表明，本文设计的轻量化自注意力机制模型在机器学习通用回归数据集上的表

现相比多数传统机器学习模型、深度学习模型拟合效果更佳。

第二，本文将自注意力机制的回归模型应用于基于遥感图像的土壤回归预测任务，

并对网络结构进行了调整，提出融合了自注意力机制学习器与双向循环门控单元

（BidirectionalGatedRecurrentUnit，BiGRU）学习器的集成回归模型。两种学习器将用

于对研究区域内的遥感波段信息进行特征学习，充分结合了自注意力机制学习器擅于捕

获长距离依赖关系与BiGRU学习器对于局部顺序感知能力强的优点，提高了特征提取

层对于波段序列中长距离位置关系下波段信息之间关联度的感知能力。最后将两种学习

器学习到的特征，进行特征融合并预测成分值。实验结果表明，本文提出的集成回归模

pH0.850.820.86

型对于研究区域内的黏土、沙砾、值三种成分的拟合优度达到了、、

的较高准确率，且优于大部分卷积网络与传统机器学习方法，为基于多光谱遥感图像的

土壤成分预测提供了一种可行的方案。

关键词：注意力机制；回归；跨层线性特征融合；层剪枝策略；双向循环门控单元

基于自注意力机制的回归方法研究

Abstract

Withtheadventoftheinformationera,precisepredictiontechniquescombinedwith

massivedatahavegraduallybeenappliedtovariousfieldssuchasartificialintelligence,

finance,andinformationsecurity.Inthefieldofartificialintelligence,althoughtraditional

regressionmodelscanfitsimplenon-linearfunctionswellinspecificscenarios,theysuffer

fromshortcomingssuchasdifficultiesinhigh-dimensionalfeatureextractionandengineering

applications.Asatypeofend-to-endregressionmodel,deeplearningmodelshaveastrong

portabilityandahighgeneralizationability,whichcaneffectivelydepictcomplexfunction

mappingrelationships.Therefore,thispaperimprovesthedeeplearnin