ENS_回状态网络.ppt

第一章：绪论 人工神经网络（Artificial Neural Network）是由大量处理单元互联组成的非线性、自适应信息处理系统 。 人工神经网络按照性能分为两类： （1）静态神经网络 Static Neural Network （2）动态神经网络 Recurrent Neural Network 其中，动态神经网络又称为递归神经网络 （1）静态神经网络 静态神经网络由静态神经元组成 ，如下图： （1）静态神经网络 上述静态神经网络的数学关系式满足： （2）动态神经网络 动态神经网络，又称递归神经网络，由动态神经元组成，是针对动态系统辨识研究中发展出来的一种神经网络。 结构如图所示： （2）动态神经网络 输入输出关系满足： （3）小结：两种网络对比 静态网络数学表达式： 动态网络数学表达式： 第二章：回声状态网络 回声状态状态网络作为一种新型的递归神经网络，无论是建模还是学习算法，都已经与传统的递归神经网络差别很大。 ESN网络特点： （1） 它的核心结构是一个随机生成、且保持不 变的储备池（Reservoir） （2）其输出权值是唯一需要调整的部分 （3）简单的线性回归就可完成网络的训练 （1）ESN 直观印象 （2）ESN的结构和运行机理 ESN网络的核心结构是一个“储备池”。所谓的储备池就是随机生成的、大规模的、稀疏连接（SD通常保持1%~5%连接 ）的递归结构。 注：SD是储备池中相互连接的神经元占总的神经元N的百分比 （2）ESN的结构和运行机理 从结构上讲，ESN是一种特殊类型的递归神经网络，其基本思想:使用大规模随机连接的递归网络，取代经典神经网络中的中间层，从而简化网络的训练过程。 基于图2.1的结构，我们假设系统具有M个输入单元，N个内部处理单元（Processing Elements，PE），即N个内部神经元，同时具有L个输出单元。 （2）ESN的结构和运行机理 那么输入单元u（n）内部状态x（n）以及输出单元y（n）在n时刻值分别为： （2）ESN的结构和运行机理 则回声状态网络状态方程为： （2）ESN的结构和运行机理 （3）ESN的储备池 虽然有大量的研究是关于如何获得与具体问题相关的“好”的储备池，但是并没有形成一个系统的方法，多数研究是从实验的角度进行的。这也是目前ESN方法遇到的最大的挑战。 ESN的最终性能是由储备池的各个参数决定的，下面首先简要介绍储备池的四个关键参数。 （3）ESN的储备池重要参数简介 （3.1）储备池内部连接权谱半径SR （3.2）储备池规模N （3.3）储备池输入单元尺度IS （3.4）储备池稀疏程度SD （3.1）储备池重要参数——SD和N （3.2）储备池重要参数—SR （3.2）储备池重要参数——SR 我们确保上式子成立的目的：确保网络稳定。 因为只有上式子成立，才能确保网络状态和输入对网络的影响在经过足够长的时间后会消失。 （3.3）储备池重要参数—IS （3.3）储备池重要参数—IS 关于IS的规则： 如果需要处理的任务的非线性越强，那么输人单元尺度越大。 该原则的本质是通过输入单元尺度IS，将输入变换到神经元激活函数funtion相应的范围。 注：神经元激活函数的不同输入范围，其非线性程度不同。 （4）ESN的储备池的建立 （4）ESN的储备池的建立 （5）ESN网络的训练 ESN的训练过程就是根据给定的训练样本确定系数输出连接权矩阵Wout的过程。 为了简单起见，这里假定Wback为0，同时输入到输出以及输出到输出连接权也假定为0，回声状态网络的训练过程可以分为两个阶段：采样阶段和权值计算阶段。 （5）ESN网络的训练 采样阶段 （5）ESN网络的训练 权值计算阶段 （5）ESN网络的训练 权值计算阶段 第三章 回声状态网络的应用 回声状态网络主要应用领域： 时序预测（time series prediction） 逆模式（inverse modeling） 时序分类（on time clasification） 非线性控制（nonliner control） 图像处理（Image Processing ） 本章中我们着重介绍回声状态网络在图像边 缘检测中的应用。 基于ESN和统计向量的边缘检测 实验过程： 基于ESN和统计向量的边缘检测 基于ESN和统计向量的边缘检测 基于ESN和统计向量的边缘检测 实验结果 基于ESN和统计向量的边缘检测 基于ESN和统计向量的边缘检测 基于ESN和统计向量的边缘检测 本实验结论： 本章介绍了一种新的回声状态网络及其学