深度学习-注意力机制 BERT.pptxVIP

机器学习深度学习—注意力机制复旦大学 赵卫东 注意力机制复旦大学 赵卫东 Seq2seq 模型最早是在2013年由cho等人提出一种 RNN 模型。 Seq2seq 模型是序列对序列的模型，本质上是一种多对多的RNN 模型，也就是输入序列和输出序列不 等长的 RNN 模型。 Seq2seq 广泛应用在机器翻译、文本摘要、语音识别、文本生成、AI写诗等。Seq2seq模型复旦大学 赵卫东 注意力机制模型 2014年复旦大学 赵卫东 注意力机制模型复旦大学 赵卫东 注意力机制模型复旦大学 赵卫东 注意力计算语义表示向量ct复旦大学 赵卫东 注意力机制本质上是一种注意力资源分配的模 型。 编码器将输入编码成上下文向量 C，在解码时 每一个输出 Y 都会不加区分的使用这个 C 进行 解码。 注意力模型根据序列的每个时间步将编码器编 码为不同 C，在解码时，结合每个不同的 C 进 行解码输出。Seq2seq与注意力机制模型（1）复旦大学 赵卫东 Seq2seq与注意力机制模型（2） 一段汉译英的机器翻译注意力模型图解示意图复旦大学 赵卫东 机器翻译（1） 编码器复旦大学 赵卫东 机器翻译（2） 解码器复旦大学 赵卫东 机器翻译（3） 注意力机制复旦大学 赵卫东 机器翻译（2）复旦大学 赵卫东 语言模型复旦大学 赵卫东 1 上下文词的one-hot 表示和输入词矩阵相乘 后得到的词向量求和再平均的值skip-gram 2013年Google团队发表了Word2Vec Word2Vec模型主要包含两个模型：CBOW和skip-gram，可以较好地表达不同 词之间的相似和类比关系。WordVec词嵌入模型复旦大学 赵卫东CBOW GloVe是斯坦福大学在2014年发表的一种词嵌入技术。 相较于由Google的Mikolov等人在2013年提出来的Word2Vec ，GloVe充分利用了语料， 训练出来的词向量质量更好。Glove模型复旦大学 赵卫东 self-attention：输入的句子自身跟自身做attention，是一个查询 (Query)到一系列键-值对(Key-Value)的映射。 应用于transformer（2017年） , Bert（2018年）等架构。自注意力self-attention(1)Attention is All You Need ：/abs/1706.03762复旦大学 赵卫东 自注意力self-attention(2)复旦大学 赵卫东 Transformer为什么Q和K使用不同的权重矩阵生成？ 如果不用Q ，attention score 矩阵是一个对称矩阵， 泛化能力很差。 在不同空间上的投影，增加了表达能力，这样计算 得到的attention score矩阵的泛化能力更高。自注意力self-attention(3)复旦大学 赵卫东 在进行Softmax之前需要对attention除以d的平方根？ 假设 Q 和 K 的均值为0，方差为1。它们乘积得到的矩阵均值为0，方差为d ， 因此使用d 的平方根用于缩放。自注意力self-attention(4)复旦大学 赵卫东 自注意力self-attention(5)复旦大学 赵卫东 自注意力self-attention(6)复旦大学 赵卫东 多头自注意力multi-head self-attention（1）复旦大学 赵卫东 多头自注意力multi-head self-attention（2）复旦大学 赵卫东 多头自注意力multi-head self-attention（3）在进行多头注意力的时候需要对每个head进行降维？ 将原有的高维空间转化为多个低维空间并再最后进行拼接， 形 成同样维度的输出，借此丰富特性信息，降低了计算量。复旦大学 赵卫东 Self-Attention虽然能很好解决语句中各单词之间的相关性问题， 但由于self-attention在计算时并不 考虑两个单词之间的位置关系， 导致在decoder时无法解决语句中单词顺序的问题。 在Transformer中计算Position Encoding所使用的公式为：PE Pos, 2i = sin(Pos/100002i/d model)PE Pos, 2i + 1 = cos(Pos/100002i/d model)pos：当前词在句子中的位置，i：向量中每个值的index 将得到的Positional Encoding与embedding的值相加，作为输入。位置编码Transformer的位置编码 Transfo