基于等效模型的随机 TRANSFORMER 上下文学习渐近研究.pdfVIP

2025IEEEINTERNATIONALWORKSHOPONMACHINELEARNINGFORSIGNALPROCESSING,AUG.31–SEP.3,2025,ISTANBUL,TURKEY

基于等效模型的随机TRANSFORMER上下文学习渐近研究

SametDemir,ZaferDoğan

MLIPResearchGroup,KUISAICenterDepartmentofEEE,KoçUniversity

İstanbul,Turkey

ABSTRACT课题。

我们研究了预训练的Transformer在非线性回归设置由于全面分析ICL的复杂性，现有研究通常考虑

本中的上下文学习（ICL）能力。具体来说，我们关注一简化的设置。特别是，许多工作专注于使用仅包含注

译个具有非线性MLP头部的随机Transformer，在其中意力机制架构的Transformer模型在线性回归或分类

中第一层是随机初始化并固定的，而第二层则是经过训任务中的