模式识别第六章.pptVIP

基于迭代的思想，通常是采用误差校正学习规则的学习算法。 可以将偏差作为神经元突触权值向量的第一个分量加到权值向量中 输入向量和权值向量可分别写成如下的形式： 令上式等于零，可得到在一维空间的单层感知器的判别超平面。 学习的类型：有导师学习 核心思想： 将输出误差以某种形式通过隐层向输入层逐层反传 学习的过程： 信号的正向传播 误差的反向传播 正向传播： 输入样本－－－输入层－－－各隐层－－－输出层 判断是否转入反向传播阶段： 若输出层的实际输出与期望的输出（教师信号）不符 误差反传 误差以某种形式在各层表示－－－－修正各层单元的权值 网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止 网络结构 输入层有n个神经元，隐含层有p个神经元, 输出层有q个神经元 变量定义 输入向量; 隐含层输入向量； 隐含层输出向量; 输出层输入向量; 输出层输出向量; 期望输出向量; 输入层与中间层的连接权值: 隐含层与输出层的连接权值: 隐含层各神经元的阈值: 输出层各神经元的阈值: 样本数据个数: 激活函数: 误差函数： 第一步，网络初始化 给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值 和最大学习次数M。 第二步,随机选取第 个输入样本及对应期望输出 第三步，计算隐含层各神经元的输入和输出 第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数 。 第六步，利用输出层各神经元的 和隐含层各神经元的输出来修正连接权值 。 第七步，利用隐含层各神经元的 和输入层各神经元的输入修正连接权。 第八步，计算全局误差 第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。 BP算法直观解释 情况一直观表达 当误差对权值的偏 导数大于零时，权值 调整量为负，实际输 出大于期望输出， 权值向减少方向调整， 使得实际输出与期望 输出的差减少。 BP算法直解释 情况二直观表达 当误差对权值的偏导数 小于零时，权值调整量 为正，实际输出少于期 望输出，权值向增大方向 调整，使得实际输出与期 望输出的差减少。 BP神经网络的特点 非线性映射能力 能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。 泛化能力 当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。 容错能力 输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。 模式识别方法中VC维的直观定义是：对于一个指标函数集，如果存在n个样本能够被函数集中的函数按所有可能的2h 种形式分开， 则称函数集能够把n个样本打散；函数集的VC维就是它能打散的最大样本数目h。有界实函数的VC维可以通过用一定的阈值将其转化为指示函数来定义。 VC维反映了函数集的学习能力，VC维越大则学习机器越复杂（学习能力越强）。 在现实世界中，很多分类问题都是线性不可分的，即在原来的样本空间中无法找到一个最优的线性分类函数，这就使得支持向量机的应用具有很大的局限性。但是可以设法通过非线性变换将原样本空间的非线性问题转化为另一个空间中的线性问题。SVM就是基于这一思想的。首先将输入向量通过非线性映射变换到一个高维的特征向量空间，在该特征空间中构造最优分类超平面。 由于无论是目标函数还是分类函数都涉及内积运算，如果采用核函数(Kernel Function)就可以避免在高维空间进行复杂运算，而通过原空间的函数来实现内积运算。因此，选择合适的内积核函数 就可以实现某一非线性变换后的线性分类，而计算复杂度却没有增加多少 ，从而巧妙地解决了高维空间中计算带来的“维数灾难”问题。 T. Kohonen认为：神经网络中邻近的各个神经元通过侧向交互作用彼此相互竞争，自适应地发展成检测不同信号的特殊检测器，这就是自组织特征映射的含义。人工自组织映射与大脑映射有许多共同特征，通常又称作自组织映射神经网络或简称SOM网络。 9.3.1　网络结构 　　自组织特征映射神经网络由输入层和输出层组成, 输出层也称为竞争层。 其网络结构如图9-9所示。 输入层为输入模式的一维阵列, 其节点数为输入模式的维数。 输入层和输出层神经元间为全互连方式, 即所有输入层