D人工神经网络3A.pptVIP

　　如果在此基础上再增加第二个隐层，则该层的每个节点确定一个凸域，各种凸域经输出层节点组合后成为图3.15中的任意形状域。 　　由图中可以看出，由凸域组合成任意形状后。意味着双隐层的分类能力比单隐层大大提高。分类问题越复杂，不同类别样本在样本空间的布局越趋于犬牙交错，因而隐层需要的神经元节点数也越多。Kolmogorov理论指出：双隐层感知器足以解决任何复杂的分类问题。该结论已经过严格的数学证明。 3.1.4 感知器的局限性及解决途径 3.1.4.2 解决途径 柯尔莫戈洛夫 ，柯尔莫哥洛夫。 　　表3.2给出具有不同隐层数的感知器的分类能力对比。 3.1.4 感知器的局限性及解决途径 3.1.4.2 解决途径 　　为便于直观描述感知器的分类能力，在上述分析中，将转移函数限定为符号函数或单位阶跃函数。实际上，提高感知器分类能力的另一个途径是，采用非线性连续函数作为神经元节点的转移函数。这样做的好处是能使区域边界线的基本线素由直线变成曲线，从而使整个边界线变成连续光滑的曲线。 　 3.1.4 感知器的局限性及解决途径 3.1.4.2 解决途径 　　Minsky和Papert在颇具影响的《Perceptron》一书中指出，简单的感知器只能求解线性问题，能够求解非线性问题的网络应具有隐层，但对隐层神经元的学习规则尚无所知。的确，多层感知器从理论上可解决线性不可分问题，但从前面介绍的感知器学习规则看，其权位调控量取决于感知器期望输出与实际输出之差，即 　　对于各隐居节点来说，不存在期望输出，因而该学习规则对隐层权值不适用。(对吗？) 3.1.4 感知器的局限性及解决途径 3.1.4.2 解决途径 * 　　感知器神经网络是一种典型的前馈神经网络，具有分层结构，信息从输入层进入网络，逐层向前传递至输出层。根据感知器神经元转移函数、隐层数以及权值调整规则的不同, 可以形成具有各种功能特点的神经网络。 §3.1 单层感知器 §3.2 基于误差反传的多层感知器—BP神经网络 §3.3 BP算法的改进 §3.4 BP网络设计基础 §3.5 BP网络应用与设计实例 本章小结 第三章 监督学习神经网络 3.1 单层感知器 　　1958年，美国心理学家Frank Rosenblatt提出一种具有单层计算单元的神经网络，称为Perception，即感知器。 　　感知器是模拟人的视觉接受环境信息，并由神经冲动进行信息传递。感知器研究中首次提出了自组织、自学习的思想，而且对所能解决的问题存在着收敛算法、并能从数学上严格证明，因而对神经网络的研究起了重要推动作用。 　　单层感知器的结构与功能都非常简单，以至于在解决实际问题时很少被采用，但由于它在神经网络研究中具有重要意义，是研究其他网络的基础，而且较易学习和理解，适合于作为学习神经网络的起点。 3.1.1 感知器模型(1/3) 　　单层感知器是指只有一层处理单元的感知器，如果包括输入层在内，应为两层。其拓扑结构如图3.1所示。 　　输出层有m个神经元, 均具有信息处理能力, 向外部输出处理信息,构成输出列向量O。 　　输入层也称为感知层，有n个神经元节点，这些节点只负责引入外部信息，自身无信息处理能力，每个节点收一个输入信号。 　　两层之间的连接权值用权值列向量Wj表示。 … … … … x1 xi xn o1 oj om W1 Wj Wm 3.1.1 感知器模型(2/3) 　　输入列向量、输出列向量和权值列向量表示为 … … … … x1 xi xn o1 oj om W1 Wj Wm X=(x1, … , xi, … , xn)T O=(o1, … , oi, … , on)T Wj=(w1j, … , wij, … , wnj)T 3.1.1 感知器模型(2/3) 　　输入列向量、输出列向量和权值列向量表示为 … … … … x1 xi xn o1 oj om W1 Wj Wm O = [ ? ] X W=(W1, …, Wj, …, Wm) O=(o1, … , oi, … , on)T X=(x1, … , xi, … , xn)T Wj=(w1j, … , wij, … , wnj)T j=1, …, j, …,m 3.1.1 感知器模型(3/3) 　　对于处理层中任一节点，其净输入为来自输入层各节点的输入加权和 　　输出oj由节点的转移函数决定。 　　离散型单计算层感知器的转移函数一般采用符号函数。 (3.1) (3.2) 3.1.2 单节点感知器的功能分析 　　为便于直观分析，只考虑单计算节点感知器的情况(图3.2)。 　　单计算节点感知器就是一个M-P神经元模型，由于采用了符号转移函数，又称为符号单元。输出可表达为 　　分