智能计算系统实验教程-第7章综合实验.pdf

所

究

研

术

技

算

计

院

科

中

所

究

研

术

技

算

计

院

科

中

第7章综合实验

了位置敏感(location-snsitiattention),一

注意力eve这注意力机制使得模型能够在不同时间

步骤对输入的不同部分分配不同的重要性权重，以更好地对齐相关信息。在Ecoder

n中还

加入了Prenet和Postnet等辅助网络进行相关处理。

接下来对位置敏感注意力这部分进行介绍，其相关示意图如7.2所示，它在双层LSTM

两层之间生效。其计算权重的思路为：首先定义可任意取值的能量函数，随后用激活函数

一1

将其归化为权值。而能最函数的计算使用的是加性注意力，如公式7.所示：

沪h++)

e=tanWsVhUF*(1

((矿7.

）所

(T,l)cl•••I究

v

卢

＋研

(1,128),,:™

WILinear�Cl.o�nlihnl人yrr