《人工神经网络设计 》 课件 第7章 回声状态网络.pptx

人工神经网络设计07回声状态网络

目录回声状态网络的结构和工作原声状态网络的学习过程回声状态网络的设计回声状态网络的应用实例

01回声状态网络的结构和工作原理ESN是一种特殊的递归神经网络，主要有输入层、隐含层（或称为储备池层）和输出层，如图7-1所示。?回声状态网络的结构输入层：输入层是网络接收外部信息的入口，负责将输入信号传递给储备池层。输入信号通常被编码为向量，并通过输入权值与储备池层相连，且输入权值在网络初始化后保持不变。储备池层：储备池层是ESN的核心组成部分，具有以下特点：随机稀疏连接、权值不变性、高维状态空间映射、非线性特性、短期记忆能力、回声状态属性。图7-1ESN的结构3

随机稀疏连接:储备池层由大量神经元组成，神经元之间的连接是随机且稀疏的，这不仅可以丰富网络的动态特性，还能降低计算成本。权值不变性：储备池内部权值一经初始化便固定不变，这种设计显著简化了训练过程。高维状态空间映射：储备池层通过将低维的输入信号映射到高维状态空间，使得网络能够有效地捕获输入信号中复杂的动态特性。非线性特性：储备池层中的神经元通常使用非线性激活函数，如tanh或Sigmoid，增强了网络捕捉数据中非线性特征的能力。?回声状态网络的结构01回声状态网络的结构和工作原理4

短期记忆能力：储备池层通过递归连接的神经元持续更新内部状态，递归连接允许信息在神经元之间“回荡”，从而实现对输入信号的短期记忆。回声状态属性：回声状态属性(EchoStateProperty,ESP)是确保ESN稳定的关键特性。ESP的实现通常与储备池内部权值矩阵的谱半径有关。当谱半径小于1时，储备池的响应不会随着时间的推移而逐渐发散。ESP的存在意味着储备池可以对输入信号做出丰富的动态响应，但同时其内部状态不会失控。?回声状态网络的结构01回声状态网络的结构和工作原理图7-2tanh和Sigmoid激活函数的图像5

?回声状态网络的工作原理1.输入层的信号接收输入信号进入ESN后，立即被输入层接收，准备进行下一步处理。2.储备池层的动态状态更新储备池层接收来自输入层的信号，并通过输入权值将这些信号传递给内部神经元。储备池状态根据当前时刻的输入信号和上一时刻的储备池状态进行状态更新。更新过程通过非线性激活函数（常用tanh激活函数）实现，确保了网络能够捕捉和处理输入信号的复杂动态特性。储备池状态更新方程如下01回声状态网络的结构和工作原理(7-3)6

?回声状态网络的工作原理3.输出层的信号生成在ESN中，输出信号的生成融合了储备池状态和输入信号。这种融合策略使得网络能够同时考虑历史状态和当前输入，以生成更为精准的输出。例7-1假设输入信号为[7,8,9]，储备池规模为3，随机初始化的输入权值和储备池内部权值为01回声状态网络的结构和工作原理(7-4)7

?回声状态网络的工作原理训练后得到的输出权值为储备池的初始状态为基于上述设置计算时间步长为3时的ESN网络输出。解：首先，根据当前时刻的输入信号和上一时刻的储备池状态依次计算储备池状态：01回声状态网络的结构和工作原理8

?回声状态网络的工作原理当时间步长时代入假设得当时间步长时01回声状态网络的结构和工作原理(7-5)(7-6)(7-7)9

?回声状态网络的工作原理同理，可得时的储备池状态最后将时间步长为3时的储备池状态和输入信号合并，然后通过输出权值进行线性变换得到时间步长为3时的网络即01回声状态网络的结构和工作原理(7-8)(7-9)(7-10)10

（1）输入权值和储备池内部权值的随机生成储备池内部权值矩阵的谱半径对于ESP至关重要。当谱半径大于1时，网络可能会无限放大历史输入的影响，进而引发动态不稳定。当谱半径小于1时，网络能够有效平衡新旧输入信号的影响，避免对历史输入的过度依赖，确保网络的稳定性。下面给出了ESN满足ESP的充分条件以及证明过程。?ESN的学习过程02回声状态网络的学习过程(7-11)(7-12)(7-13)11

定理7-1假设f是tanh激活函数，当储备池内部权值W的最大奇异值小于1时，即，则ESN具有ESP。证明：假设ESN中有两个不同的储备池状态和，并假设，对于相同的输入信号