第5章_典型人工神经网络(BP).pptVIP

第五章　典型人工神经网络;第5.1节 感知器;第5.1节 感知器;5.1.1 感知器模型和用途;5.1.1 感知器模型和用途;5.1.1 感知器模型和用途;x1;;;单层感知机;第5.1节 感知器;结构特征： 在输入层和输出层之间嵌入一层或多层隐含层。 隐含单元既可以与输入输出单元相连，也可以与其它隐含单元相连。 分类： 含一个隐含层前向传播网络 L+1层前向传播网络;5.1.2 多层感知器模型和学习算法;隐含层输出：;…;多层感知器模型的功能：;前向传播网络实质上表示的是一种从输入空间到输出空间的映射。 网络的训练实质上是对突触权阵的调整，以满足当输入为Xp时其输出应为Yd。 思想：前向计算得到网络的输出, 反向计算得到误差的积累，由梯度下降法调整权值。;学习算法结构图;误差的平方和;…;学习算法（续）;;;第二步：计算梯度;第三步：计算梯度;选定初始加权矩阵;第二隐层与第一隐层连接权值及阈值更新：; 初始化 ;权系数的初值： 随机选较小的值，尽量均匀覆盖权值空间，避免出现初始权值相同的情况。 学习方式: 增量型学习方法效果好；累积型学习方法速度快。 激励函数： 非减可微函数。可通过调节Sigmoid函数的斜率或采用其它激励函数来改善网络的学习性能。 学习速率： 学习速率小，训练速度慢；学习速率大，训练速度快，可能出现振荡现象。;非线性优化的局部极小，或振