基于线性模型上下文学习算法探究.pdfVIP

  • 0
  • 0
  • 约23.61万字
  • 约 58页
  • 2026-09-17 发布于北京
  • 举报

于ICLR

2023会议集

什么学习算法实现了上下文学习?基于线性模型的研究

¨

E金·阿基乌雷克,,戴尔·舒曼斯雅各布·安德鲁斯腾宇马,,丹尼·周

谷歌

麻省理工学院CSAIL

斯坦福大学

联合指导

神经序列模型,尤其是Transformer,展现出了惊人的上下文学习能力。它们

可以从输入中的标记示例序列(,())构建新的预测器,而无需进

3一步更新参数。我们探讨了Transformer基的上下文学习者通过在其激活中编

2

0码较小的模型,并在新示例出现在上下文中时更新这些隐式模型来实现学

2

文档评论(0)

1亿VIP精品文档

相关文档