花式自然语言处理-科学空间.pdfVIP

花式自然语言处理 苏剑林 2018 年 1 月23 日 中山大学 Overview 1. CNN 与 NLP 2. Attention 新谈 3. 一些训练技巧 4. 交叉验证与融合 5. 无监督 NLP 6. 小杂烩 2 苏剑林 花式自然语言处理 1. CNN 与NLP 是时候抛开固有的 RNN 思维，尝试迎接 CNN 的拥抱了。 1.1. 一维卷积 CNN 实际上是 NLP 的标配方法，其思路比 RNN 更加自然。去年 facebook 的大作《Convolutional Sequence to Sequence Learning》 充分体现了CNN 在 NLP 中还有很大的挖掘空间。 4 苏剑林 花式自然语言处理 1.1. 一维卷积 CNN 实际上是 NLP 的标配方法，其思路比 RNN 更加自然。去年 facebook 的大作《Convolutional Sequence to Sequence Learning》 充分体现了CNN 在 NLP 中还有很大的挖掘空间。 4 苏剑林 花式自然语言处理 1.2. 门激活机制 经过多番测试，可以比较肯定的是：在自然语言处理中，使用 GLU （Gated Linear Unit ，门线性单元）作为激活函数，效果最佳。 ( ) 5 苏剑林 花式自然语言处理 1.3. 残差机制 残差机制本来是为了解决深层神经网络的而提出的，但事实上残 差有助于加速信息流动，使得简单的问题可以用简单的路径。 残差计算公式： 如果与一维卷积、GLU 激活函数配合使用，则它在数学上等效于 [ ( )] ( ) 这体现了信息在双通道中的选择性流动。 6 苏剑林 花式自然语言处理 1.4. 位置向量 CNN 容易捕捉序列的结构信息，但不能很好地捕捉序列的位置 信息（位置信息是 RNN 擅长的）。一个有趣的方案是给 CNN 的 输入加入“位置向量”，增强 CNN 的“位置感”。 ( ) ( )