力排序改善长上下文语言模型中近偏差.pdf

力排序改善长上下文语言模型中近偏差.pdf

注意力排序对抗长上下文语言模型中的偏差

预印本

AlexPeysakhovich∗AdamLerer†

3

2

0

2

p

e

S当前的语言模型在生成过程中往往无法有效地结合长上下文。我们发现,导致这一问题的

8主要是预训练期间可能学到的注意力先验:位于上下文较早位置的相关信息平

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档