力机制优化方法与变体.pdfVIP

注意升级面

来自:

AiGC面试宝典

1

传统Attention

存在哪些问题

1.

传统Attention

存在上下文长度约束问题;

2.

传统Attention

速度慢,内存占用大;

2

Attention

优化方向

1.提升上下文长度2.

加速、减少内存占用

3

Attention

变体有哪些

•稀疏

注意力。将稀疏偏差引入

注意力

机制可以降低了复杂性;

•线性化

注意力。解开

注意力

矩阵与内核特征图,然后以相反的顺序计算

注意力

以实现线性复杂度;

•原型和内存压缩。这类方法减少了查询或键值记忆对的数量,以减少注意力矩阵的大小;

•低阶自注意力。这一系列工作捕获了自注意力的低阶属性；

•注意力

与先验。该研究探索了用先验注意力

分布来补充或替代注意力;

•改进多头机制。该系列研究探索了不同的替代多头机制。

4

多查询注意力

篇

4.1

多头注意力

存在什么问题

•训练过程:不会显著影响训练过程,训练速度不变,会引起非常细微的模型效果损失;

•推理过程:反复加载巨大的KVcache,导致内存开销大，性能受内存限制;

4.2

介绍一下多查询注意力