计算智能神经网络计算.pptVIP

神经网络计算 单个处理单元可以执行简单的图形检测功能,但更强的识别处理能力却来自多个结点“连成”的网络,即人工神经网络 单层网络 最简单的网络是把一组几个结点形成一层, 输入信号可表示为行向量， 其中每一分量通过加权连接到各结点。每一结点均可产生一个输入的加权和。 实际的人工神经网络和生物神经网络中有些连接可能不存在,为了更一般化, 采用了全连接,并且都是前馈连接。 多层网络 一般大而复杂的网络能提供更强的计算能力。 多层网络,只要将单层网络进行级联就可以了,即一层的输出作为下一层的输入。 在多层网络中,层间的转移函数应是非线性的,否则多层网络的计算能力并不比单层网络的强。 因为在线性转移函数的情况下,两层网络的输出是第一层的输出作为第二层的输入,通过第二个加权矩阵得到网络输出。 回归型网络 凡包含反馈连接的网络均称为回归型网络,或称反馈网络。横向反馈连接和纵横连接。 感知器网络模型 输出只有两种状态, 实际上是输入模式的分类器,判决输入模式属于两类中的哪一类( A 或B 类) Back-propagation神经网络模型 BP网络的训练步骤 BP训练算法存在的问题 1)对于一些复杂的问题往往训练时间很长; 2)由于采用梯度下降法,可能陷入局部极小,而不是目标函数的全局最小。 为了减小局部极小的发生,可以采用增加中间单元,自动调整训练速率,由多种初始权值开始多次训练等方法。 为了加快训练速度,增加附加冲量项,称为冲量法,权值更新式用: BP算法的改进方法 BP算法实质：把一组样本输入输出问题转化为一个非线性优化问题。 BP算法运用梯度算法利用迭代运算求解权值问题的一种学习方法。 BP算法缺陷: 1)易形成局部极小而得不到整体最优;2)迭代次数多,收敛慢。 改进方法：自适应学习率法、共轭梯度法、变尺度法、变学习率优化学习算法、kalman滤波方法的快速学习算法 自适应学习率法 * * 各加权表示为加权矩阵 输入信号 的加权和 输出向量 一个三层的感知器网络可以产生任意复杂的判决域。 + 1 1 -1.5 x1 x2 中间层到 输出层权 值调整 中间层到输出层权值的调整量为 中间层到输出层权值的调整量为 由输入到中间层权值的调整 输入到中间层权值的调整量为 中间层到输出层权值的调整量为 输入到中间层权值的调整量为 任意层间权值调整的一般式 输出层 中间层 输出层 中间层 1)用均匀分布随机将各权值设定为一个小的随机数 2)从训练数据对中,将一个输入数据加在输入端。 3)计算输出层的实际输出y(k) 4)计算输出层的误差 5)计算中间层的误差 6)权值更新 7) 重复进行 * * *