机器学习 第2版 深度学习 注意力机制.ppt

Encoder 复旦大学 赵卫东 Transformer块使用LayerNorm 句子长度不一致，并且各个batch的信息没什么关系，因此只考虑句子内信息的归一化（BN）。 Decoder 复旦大学 赵卫东 Bert模型 复旦大学 赵卫东 机器翻译 复旦大学 赵卫东 Bert用于分类 复旦大学 赵卫东 Mask语言模型 复旦大学 赵卫东 摘要抽取 复旦大学 赵卫东 Bert其他应用 复旦大学 赵卫东 动态键值记忆网络（Dynamic Key-Value Memory Networks.） Jiani Zhang, Xingjian Shi, Irwin King,et al. Dynamic Key-Value Memory Networks for Knowledge Tracing. WWW 17: Proceedings of the 26th International Conference on World Wide Web,2017:765774,/10.1145/3038912.3052580 复旦大学 赵卫东 复旦大学 赵卫东 * The Annotated Transformer /ArdalanM/annotated-transformer/tree/fix_pytorch_1.0_plus The Annotated Transformer /ArdalanM/annotated-transformer/tree/fix_pytorch_1.0_plus The Annotated Transformer /ArdalanM/annotated-transformer/tree/fix_pytorch_1.0_plus The Annotated Transformer /ArdalanM/annotated-transformer/tree/fix_pytorch_1.0_plus The Annotated Transformer /ArdalanM/annotated-transformer/tree/fix_pytorch_1.0_plus The Annotated Transformer /ArdalanM/annotated-transformer/tree/fix_pytorch_1.0_plus The Annotated Transformer /ArdalanM/annotated-transformer/tree/fix_pytorch_1.0_plus The Annotated Transformer /ArdalanM/annotated-transformer/tree/fix_pytorch_1.0_plus The Annotated Transformer /ArdalanM/annotated-transformer/tree/fix_pytorch_1.0_plus The Annotated Transformer /ArdalanM/annotated-transformer/tree/fix_pytorch_1.0_plus The Annotated Transformer /ArdalanM/annotated-transformer/tree/fix_pytorch_1.0_plus The Annotated Transformer /ArdalanM/annotated-transformer/tree/fix_pytorch_1.0_plus The Annotated Transformer /ArdalanM/annotated-transformer/tree/fix_pytorch_1.0_plus The Annotated Transformer /ArdalanM/annotated-transformer/tree/fix_pytorch_1.0_plus 复旦大学 赵卫东 机器学习 深度学习—注意力机制 复旦大学 赵卫东 注意力机制 复旦大学 赵卫东 Seq2seq模型 Seq2seq 模型最早是在2013年由cho等人提出一种 RNN 模型。 Seq2seq 模型是序列对序列的模型，本质上是一种多对多的RNN 模型，也就是输入序列和输出序列不等长的 RNN 模型。 Seq2seq 广泛应用在机器翻译、文本摘要、语音识别、文本生成、AI写诗等。 复旦大学 赵卫东 注意力机制模型 2014年 复旦大学 赵卫东 注意力机制模型 复旦大学 赵卫东 注意力机制模型 复旦大学 赵卫东 注意力计算 语义表示向量ct 复旦大学 赵卫东 Seq2seq与注意力机制模型（1） 注意力机制本质上是一种注意力资源分配