回声状态网络（ESN）原理详解（附源码实现）.pdfVIP

回声状态⽹络（ESN）原理详解（附源码实现）

最近在看回声状态⽹络(EchoStateetwork)的内容，因为很少搜到关于EchoStateetwork的快速⼊门讲解，所以打算写⼀下ES的

基本原理。

1、概念

回声状态⽹络作为⼀种新型的递归神经⽹络(如上图)，也由输⼊层、隐藏层(即储备池)、输出层组成。其将隐藏层设计成⼀个具有很多神经

元组成的稀疏⽹络，通过调整⽹络内部权值的特性达到记忆数据的功能，其内部的动态储备池(DR)包含了⼤量稀疏连接的神经元，蕴含系统

的运⾏状态，并具有短期训记忆功能。ES训练的过程，就是训练隐藏层到输出层的连接权值(Wout)的过程。总结如下三个特点：

（1）核⼼结构是⼀个随机⽣成且保持不变的储备池(Reservoir)

（2）其输出权值是唯⼀需要调整的部分

（3）简单的线性回归就可完成⽹络的训练

2、ES的各个参数与公式。

2.1节点与状态

图中t时刻的输⼊u(t)，⼀共有K个节点，储备池状态为x(t)，个节点，输出为y(t)，L个节点。

t时刻的状态为：

2.2连接矩阵与状态⽅程

图中的储备池就是常规神经⽹络的隐藏层，输⼊层到储备池的连接为Win(*K阶)，储备池到下⼀个时刻储备池状态的连接为W(*阶)，储

备池到输出层的连接为Wout(L*(K++L)阶)。另外还有⼀个前⼀时刻的输出层到下⼀时刻的储备池的连接Wback(*L阶)，这个连接不是

必须的(图中虚线表⽰)。

每⼀时刻输⼊u(t)，储备池都要更新状态，它的状态更新⽅程为：

式中，Win和Wback都是在最初建⽴⽹络的时候随机初始化的，并且固定不变。u(t+1)是这个时刻的输⼊，x(t+1)是这个时刻的储备池状

态，x(t)是

上⼀个时刻的储备池状态，在t=0时刻可以⽤0初始化。f是DR内部神经元激活函数，通常使⽤双曲正切函数（tanh）。

注：在建模的时候，和⼀般的神经⽹络⼀样，会在连接矩阵上加上⼀个偏置量，所以输⼊u的是⼀个长度为1+K的向量，Win是⼀个[1+K,

]的矩阵，

x是⼀个长度为的向量。

ES的输出状态⽅程为：

式中，fout是输出层神经元激活函数。

到这⾥有了储备池状态，有了ES输出⽅式，就可以根据⽬标输出y(target)来确定Wout，以使得y(t+1)和y(target)的差距尽可能⼩。这是

⼀个简单

的线性回归问题，计算⽅法有多种，不再赘述。

2.3储备池四个参数

储备池是该⽹络的核⼼结构，所谓的储备池就是随机⽣成的、⼤规模的、稀疏连接（SD通常保持1%-5%连接）的递归结构。

ES的最终性能是由储备池的各个参数决定的，包括：储备池内部连接权谱半径SR、储备池规模、储备池输⼊单元尺度IS、储备池稀疏程

度SD。

（1）储备池内部连接权谱半径SR。其为连接权矩阵W的绝对值最⼤的特征值，记为λmax，λmax1是保证⽹络稳定的必要条件；

（2）储备池规模。其为储备池中神经元的个数，储备池的规模选择与样本个数有关，对⽹络性能影响很⼤，储备池规模越⼤，ES对给

定动态系统的描述越准确，但是会带来过拟合问题。

（3）储备池输⼊单元尺度IS。其为储备池的输⼊信号连接到储备池内部神经元之前需要相乘的⼀个尺度因⼦，即对输⼊信号进⾏⼀定的缩

放。⼀般需要处理的对象⾮线性越强，IS越⼤。

（4）储备池稀疏程度SD。其表⽰储备池中神经元之间的连接情况，储备池中并不是所有神经元之间都存在连接。SD表⽰储备池中相互连

接的神经元总数占总的神经元的百分⽐，其值越⼤，⾮线性逼近能⼒越强。

3.ES⽹络的训练

ES的训练过程就是根据给定的训练样本确定系数输出连接权矩阵Wout的过程。其训练分为两个阶段：采样阶段和权值计算阶段

为了简单起见，这⾥假定Wback为0，同时输⼊到输出以及输出到输出连接权也假定为0。

3.1采样阶段

采样阶段⾸先任意选定⽹络的初始状态，但是通常情况下选取⽹络的初始状态为0，即x(0)=0。

（1）训练样本（u(t),t=1,2,...,P）经过输⼊连接权矩阵Win被加⼊到储备池。

（2）按照前述两个状态⽅程，依次完成系统状态和输出y(t)的计算与收集。

为了计算输出连接权矩