缓存力机制在循环语言模型中应用与评估.pdfVIP

用于循环语言模型的缓存注意力机制

ColinGaffney斯坦福大学计算

机科学系

cgaffney@

语言建模可能是深度自然语言处理中最基本的任务，它在促进人类文本生成和帮

助研究人员评估AI的进步和“智能”方面有着广泛的实际应用。因此，语言建模

是实验新架构和现有变体的理想领域。在本文中，我们通过引入一个先前训

练样本隐藏状态的缓存来扩展循环神经网络中长期记忆的融合。通过使用一

个额外的注意力机制在缓存上操作，可以做出包含缓存信息的预测。我们得出结

论，缓存注意力确实提高了基于注意力的循环语言模型的准确性，大约提高

了5个百分点。最后，我们讨论了缓存实现中的低效问题和潜在改进措施。

1引言

句子补全是驱动的自然语言处理中最基本的任务之一。其显而易见的应

用已经包含在普遍的产品中，如和搜索。然而，在某些情况下，

句子补全并非易事，因为它需要相当多的句法和语义知识，以及一般的“现实世

界”知识。例如，考虑这句话：“Aizac是Ardeche部门的一个城镇和公社，位

于⋯⋯南部”。正确的回答是“法国”，但这需要知道Aizac和Ardeche属于法

国，而不是比利时，例如。至少，它要求理解Aizac和Ardeche是“听起来像法

语”