课件：神经网络信号处理.ppt

1.网络的微分方程描述和能量函数 设为第i个放大器输入节点的电压。根据基尔霍夫电流定律，放 大器输入节点的电流方程为 设 ，则上式为 放大器的输入-输出电压关系为S函数 定义能量函数E为 式中， 是 的反函数，即 。 2.网络参数设计 连续型Hopfield网络收敛于其能量函数的极小值，这使它能左 优化计算。因为优化问题就是求其某个代价函数或目标函数的极小 解。如维纳滤波器就是使一个均误差函数最小的最佳滤波器。对要 求满足一定约束条件的优化问题，可以将约束条件包含于代价函数 中，只要将优化问题的代价函数J映射成网络的能量函数E，就可以 求出网络参数 和 。注意，约束条件下优化问题的代价函数一般 有两部分。一部分为代价函数 ，其中Y为变量， 。另一部 分为惩罚函数 ，由约束条件决定。当不满足约束条件时， 值 就大。这样，代价函数便取 。 8.3.4 随机型和复合型反馈网络 1.随机型反馈网络 随机型反馈网络与Hopfield网络的结构相同，并且同样是无自反 馈的对称网络，即。区别仅在于随机型反馈网络每个单元的 输入-输出变换函数不再是确定的，而是随机的。输出只取两个状 态：0或1. (2)网络的能量函数及其演化过程 能量函数为： 采取异步工作方式，每次只改变一个神经元的状态。设输出由1 状态转变为0状态，系统的能量函数的差值为： 2.复合型反馈网络 (1)网络结构及其稳定性分析 如果在反馈网络中，不是直接将输出作为反馈信号，而是对输 出作一变换后，再作反馈信号，如图8.37所示，图中变换 用一个 前向网络实现，则这种复合反馈网络的处理能力可增强，但网络的 收敛性和稳定性的证明更加困难。 下面举一个简单的情况： 网络电路图如图8.38所示，其中，圆圈代表连接强度、电阻值或电 导值，设 为单调升函数，且对有界输入 也有界，其 中 。这种网络可以是收敛的、稳定的，称为线性规划 神经网络。 (2)网络作优化计算 复合反馈网络可以求解数学线性规划问题，求解信号处理中实 数域的线性变换。 线性规划问题可以利用如下代价函数和约束条件描述： 式中， 用复合反馈网络作数学计算的主要优点是：高速实时计算；设 计简单（一般都只需作直接映射）；一般情况下没有局部极小点。 后两个优点与单层反馈网络相比尤为突出。 8.4 自组织神经网络 人们观察不同的事物时，会从不同的角度出发，提取事物的不同特征。对于自组织网络，针对的输入数据不同，欲提取的特征就不同，学习算法也不同。通常有两种无导师学习规则：Hebb规则和竞争学习规则。下面讨论三种特征的自适应提取： （1）依竞争学习规则进行聚类，提取各类的中心； （2）依竞争学习规则作特征映射，将输入模式相似程度的大小映射成几何位置的远近。 （3）依Hebb规则进行主元分析，提取信号的最大主元。 8.4.1 自组织聚类 聚类可理解为在无先验知识的情形下，把相似的对象归为一类，并分开不相似的对象。聚类学习算法就是根据距离准则，吧距离接近的样本看作一类，并把该类的中心样本存储于网络的链接权中，而网络的输出将是输入模式与中心样本的距离。 1.单层前向聚类网络——竞争学习 单层线性前向网络的神经元的变换函数是线性的： 所以，每个单元的输入-输出关系为 设有 个输入学习模式 个单元可以将输入模式聚为 类，输出模式为 2. 反馈型聚类网络——自适应谐振学习 更合理的聚类应该是在事先不知道类别数量的情形下，依竞争的门限来学习。如果对一输入样本，网络通过竞争得知，该输入模式与某一类聚点的距离最小，但其距离若超过一个预定门限值，扔不能将它归为这一类，而应另设一个新的类群。基于自适应谐振理论的学习算法，就是这种既能识别旧对象同时又能识别新对象的方法。 8.4.2 自组织特征映射 自组织特征映射网络是将特征相似的输入模式聚集在一起，不相似的分得比较开。下面讨论这种网络的结构和算法以及该网络从输入模式中提取的特征。 网络结构及其算法 特征映射网络与简单的聚类网络一样，是一个单层线性前向网络，也是采用竞争学习算法。在结构上不同的只是网络很在乎神经元的几何位置，一般排列成以为的直线或二维的平面。在竞争学习算法上，主要的不同在于特征映射网络不仅对获胜元的连接权进行修正，而且对获胜元临近单元的连接权也进行修正。 自组织特征映射网