课件：前馈神经网络模型.ppt

* * 1958年，美国心理学家Frank Rosenblatt提出一种具有单层计算单元的神经网络，称为Perceptron，即感知器。感知器是模拟人的视觉接受环境信息，并由神经冲动进行信息传递的层次型神经网络。感知器研究中首次提出了自组织、自学习的思想，而且对所能解决的问题存在着收敛算法，并能从数学上严格证明，因而对神经网络研究起了重要推动作用。 单层感知器的结构与功能都非常简单，以至于在解决实际问题时很少采用，但由于它在神经网络研究中具有重要意义，是研究其它网络的基础，而且较易学习和理解，适合于作为学习神经网络的起点。 单层感知器是指只有一层处理单元的感知器，如果包括输入层在内，应为两层。图中输入层也称为感知层，有n个神经元节点，这些节点只负责引入外部信息，自身无信息处理能力，每个节点接收一个输入信号，n个输入信号构成输入列向量X。输出层也称为处理层，有m个神经元节点，每个节点均具有信息处理能力，m个节点向外部输出处理信息，构成输出列向量O。两层之间的连接权值用权值列向量Wj表示，m个权向量构成单层感知器的权值矩阵W。3个列向量分别表示为： * 1958年，美国心理学家Frank Rosenblatt提出一种具有单层计算单元的神经网络，称为Perceptron，即感知器。感知器是模拟人的视觉接受环境信息，并由神经冲动进行信息传递的层次型神经网络。感知器研究中首次提出了自组织、自学习的思想，而且对所能解决的问题存在着收敛算法，并能从数学上严格证明，因而对神经网络研究起了重要推动作用。 单层感知器的结构与功能都非常简单，以至于在解决实际问题时很少采用，但由于它在神经网络研究中具有重要意义，是研究其它网络的基础，而且较易学习和理解，适合于作为学习神经网络的起点。 单层感知器是指只有一层处理单元的感知器，如果包括输入层在内，应为两层。图中输入层也称为感知层，有n个神经元节点，这些节点只负责引入外部信息，自身无信息处理能力，每个节点接收一个输入信号，n个输入信号构成输入列向量X。输出层也称为处理层，有m个神经元节点，每个节点均具有信息处理能力，m个节点向外部输出处理信息，构成输出列向量O。两层之间的连接权值用权值列向量Wj表示，m个权向量构成单层感知器的权值矩阵W。3个列向量分别表示为： * X^2=8.73 a=0.8 a/x^2=0.092 系数=-0.20884 * * * * 感知器神经网络的学习规则和最小均方差（LMS）学习算法只能训练单层神经网络，而单层神经网络只能解决线性可分的分类问题。多层神经网络可以用于非线性分类问题。但需要寻找训练多层网络的学习算法。 BP算法----适于多层网络的学习算法。 BP网络广泛应用于函数逼近、模式识别/分类、数据压缩等。 80%~90%的人工神经网络采用BP网络或者它的变化形式，它也是前馈网络的核心部分，体现了人工神经网络最精华的部分。 BP神经元与其他神经元类似，不同的是BP神经元的传输函数为非线性函数，常用的有S型函数。 BP网络的信息从输入层流向输出层，是一种多层前馈神经网络。 BP网络的学习 在确定了BP网络的结构以后，要通过输入和输出样本集对网络进行训练，亦即对网络的阈值和权值进行学习和修正，以使网络实现给定的输入输出映射关系。 BP网络学习分两个阶段: 第一个阶段是输入已知学习样本，通过设置的网络结构和前一次迭代的权值和阈值，从网络的第一层向后计算各神经元的输出 第二个阶段是对权和阈值进行修改，从最后一层向前计算各权值和阈值对总误差的影响（梯度），据此对各权值和阈值进行修改。 以上两个过程反复交替，直到达到收敛为止。 由于误差逐层往回传递，以修正层与层之间的权值和阈值，所以称该算法为误差反向传播算法，这种误差反传学习算法可以推广到有若干个中间层的多层网络，因此该多层网络常称之为BP网络。 BP学习算法概述 BP算法的基本过程 初始化阶段 前馈阶段 权值调整阶段 学习精度计算 学习结束判断 BP学习算法描述（初始化阶段） 对所有神经元的阈值及连接权值取一个较小的非零随机值。 设一个较小的数?作为学习期望达到的最终学习精度。该值作为学习过程的结束判断条件。 BP学习算法描述（前馈阶段） 给定输入样本和理想输出。 对p 层的神经元i，按下式计算p 层中神经元i的活跃值，也即输出到 p+1 层的输出值。 BP学习算法描述（权值调整阶段） 利用下面公式，从输出层开始向输入层方向进行权值调整： 权值调整中的误差项求解 输出层误差项求解 隐含层误差项求解 实际输出 理想输出 BP学习算法描述（权值调整） 实际输出 理想输出 输出层误差项求解 隐含层误差项求解 神经元阈值的修改 若把层p中神经元的阈值看成是层p-1中神经元到某一个附加