第八章注意力与记忆机制.PDFVIP

第八章 注意力与记忆机制 一切都应该尽可能地简单，但不能过于简单。 艾伯特• 爱因斯坦 根据通用近似定理，前馈网络和循环网络都有很强的能力。但是由于优化 算法和计算能力的限制，在实践中很难达到通用近似的能力。特别是在处理复 杂任务时，比如需要处理大量的输入信息或者复杂的计算流程时，目前计算机 的计算能力依然是限制神经网络发展的瓶颈。 为了减少计算复杂度，通过部分借鉴生物神经网络的一些机制，我们引入 了局部连接、权重共享以及汇聚操作来简化神经网络结构。虽然这些机制比较 有效的缓解了模型复杂度和表达能力之间的矛盾，但是我们依然还需要进一步 在不过多增加模型复杂度（主要是模型参数）的情况下来提高模型的表达能力。 以阅读理解任务为例，背景文章（ ）一般比较长，如果用 阅读理解任务是给机器 阅读一篇背景文章，然 循环神经网络来将其转换为向量表示，那么这个编码向量很难反映出背景文章 后