神经网络梳理.doc

神经网络梳理 人工神经网络（简称神经网络）存在的常见问题： 为了优化而优化没有明白自带的神经网络到底如何工作没有选择正确神经网络为什么很多人都不用matlab里面自带的神经网络，而是自己编写一些，用其他的优化智能算法来优化神经网络？很多人的目的是为了发文章，不是为了解决问题。如果应用属于各种指标的分类、识别、预测范畴等，MATLAB自带的时间序列工具箱模式识别工具箱SOM工具箱SVM工具箱等已经足够满足需求。每个网络的训练过程中有多个参数可调。不要为了优化而优化，先学会预处理数据，解读网络训练过程以及结果（如Confusion Matrix)等。明白神经网络训练过程中，除了训练和测试数据，验证数据是如何调整网络的。如何选择合适的数据预处理、后处理函数（数据归一化只是其中一种，还有很多其他方法）。明白除了平均方差以外，还可以使用其他的函数来判断网络训练的优劣等等。 说实话，很少看到这方面深入的讨论建议先从这些方面入手，应该可以解决实际问题。 其中为学习速率参数（有时称训练速率参数），上述规则可表示成 感知器学习规则 学习受到指导，学习信号为期望和实际神经元响应之间的差。权值调节得到如下结果： 该规则仅对二进制神经元响应可以应用，且上述关系表达了属于双极性二进制情况下的规则。在该规则下，当且仅当结果不正确时，权重得到调节。显然，由于所希望的响应或者是1或者是-1，权值调节公式简化为，当和时，采用“+”号；当和时，采用“-”号。 学习规则（最小均方规则LMS） 仅适用于下列激活函数： 以及在有导师训练模式中定义的连续激活函数。 式中是对计算的激活函数导数。 若，则。 Widrow-Hoff学习规则 学习规则和采用的神经元激活函数无关 权值向量增量为 分量形式为 该规则能看成学习规则的特殊情况。 相关学习规则 “胜者为王”学习规则 其中是一个小的学习常数。 基于参加竞争的所有神经元中最大激活的准则，其表达式如下： 这个准则相应于寻找权值向量也就是最接近于输入。 内星和外星学习规则 节点表示 （a）中的内星表示节点通过连接权接收一组输入信号；（b）中的外星则表示节点通过加权输出一组信号。 内星训练算法 外星训练算法 梯度下降算法 加权的修正量正比于误差对加权的一阶导数，数学表示如下： 随机训练算法 模拟退火算法 基本上由三个部分组成： 以一定概率密度跃迁到新状态，这个概率密度函数称为生成函数； 以一定概率密度容忍评估函数的偶然上升，这个概率密度函数称为容忍函数； 以一定冷却程式降低温度，这个等效温度是生成函数和容忍函数中的控制变量，以确定所引入的随机扰动（噪声）强度 过程大致如下： 从一个随机选取的状态出发，依据生成概率在每一步产生一个新状态，如果该新状态的评估函数值比原来状态低，则令它为系统的新状态；如果它比原先状态的评估函数值高，则它成为新状态的概率由容忍函数确定；若系统不进入这个新状态，则它仍保持原先状态，生成函数与容忍函数按照规定冷却方式变化。 7种学习规则及其特性 学习规则 单个权值调节 初始权值 学习 神经元特性 神经元/层 Hebb 0 U 任意 神经元 感知器 任意 S 二进制双极性或二进制单权 神经元 任意 S 连续 神经元 Widrow-Hoff 任意 S 任意 神经元 相关 0 S 任意 神经元的层 Winner-take-all 为获胜神经元 随机归一化 U 连续 神经元的层 外星 0 S 连续 - 注：是正学习常数，S表示有导师学习，U表示无导师学习。 径向基RBF神经网络 三层网络（输入、输出和隐层） RBF函数网络是一种两层前向型神经网络，包含一个具有径向基函数神经元的隐层和一个具有线性神经元的输出层。 神经元radbas的输入为输入向量和权值向量之间的距离乘以阈值。 径向基传递函数可表示为如下形式： 径向基神经元模型 学习算法： 自组织选取中心法 由两个阶段组成：一是自组织学习阶段，此阶段为无导师学习过程，求解隐层基函数的中心与方差；二是有导师学习阶段，此阶段求解隐层到输出层之间的权值。 学习步骤： 基于K-均值聚类方法求取基函数中心c ①网络初始化：随机选取h个训练样本作为聚类中心 ②将输入的训练样本集合按最近邻规则分组 ③重新调整聚类中心 求解方差 计算隐层和输出层之间的权值 梯度训练方法 OLS学习算法 优点： 它具有唯一最佳逼近的特性，且无局部极小问题存在 具有较强的输入和输出映射功能，并且理论证明在前向网络中RBF网络是完成映射功能的最优网络 网络连接权值与输出成线性关系 分类能力好 学习过程收敛速度快 缺点： 无法解释自己的推理过程和推理依据 不