非线性分类器及神经网络.pptVIP

第五章非线性分类器与神经网络Nonlinear Classifiers and Neural Networks §1 引言 §2 异或问题 §3 两层感知器 §4 反向传播算法 §5 径向基函数网络 §6 支持向量机 §7 其他非线性分类法 1. 分段线性分类器 2. 树状分类器 3. 二次判别函数 §1 引言 上一章讨论了由线性判别函数g(x)=WTx+w0=ATY描述的线性分类器设计。从训练集样本得到权值W和w0或者A。 若两类间是线性可分的，单层感知 器方法可计算出g(x)的权值。 例：第k+1次叠代得到的直线方程 对于线性不可分的，线性分类器 的最优方法是使平方误差最小。 例：线性分类器的MSE方法 对于非线性分类，选择一个合适的非线性判别函数是很困难的，如图AD, BD, CD。 解决方法： ⑴神经网络 (即多层感知器)具有很强的 处理非线性的能力，适合非线性分类。 神经网络中要解决的主要问题： ①学习方法－目的修改权值，如反向传播算法。 ②网络结构－层数，每层神经元数及连接方式。 ③用支持向量机(网络)可得到最优分界面。 ⑵ 用树分类器进行多级决策。在树分类器上用线性判别函数，就构成了一个分段线性分类器。 ⑶ 对一些特殊的问题可用二次判别函数。 §2 异或问题（XOR） 异或布尔函数是非线性可分问题的典型例子。将布尔函数理解为分类任务，即根据输入 x1、x2的不同，输出为0(B类)或1(A类)。 图中给出了类在空间的位置。 一条直线不能将这两类分开。  “与” (AND)和“或” (OR)布尔函数是线性可分的。 用一个感知器可实现“或门”或“与门”。 由感知器实现的决策面方程 异或(XOR)问题必须用两层感知器实现。 §2 两层感知器 一条直线不能解决异或问题，可用“或”和“与” 二条直线解决，即使用两层感知器来解决。 g1(x)= x1+x2－1/2=0 g2(x)= x1+x2－3/2= 0 二个神经元分别实现或和与运算。 二条直线将空间分成三个区域 g1(x) 0 g2(x) 0 g1(x) 0 g2(x) 0 因此，这个问题可分两阶段处理。 1. 两层感知器 ⑴两层感知器的结构 与单层感知器相比增加了一个隐层。 第一层为隐层，可由p个神经元组成。 所有隐层神经元输入节点 为xi的d个特征，i=1,2,···,d； 权wi是要通过学习调整的参数； 每个神经元的输出yi不相同。 第二层为输出层，图中为一个神经元，输出 运算结果。 若输入节点称为输入层，则也称为三层网络。 ⑵异或问题用两层感知器分两阶段解决 第一阶段输入x ＝[x1 x2]T ，输出新向量y＝[y1 y2]T y1相对于g1(x) 进行“或”运算 y2相对于g2(x) 进行“与”运算 由第一隐层两个神经元实现。 第二阶段y＝[y1 y2]T为输入，输出为类别。 g(y)由一个神经元实现。 g(y)= y1-y2-1/2＝0 ⑶两层感知器模型 第一层隐层(hidden layer)神经元完成第一阶段的计算，是x到y的映射，即隐层神经元作用是将输入X空间映射到二维(因为二个神经元)Y空间中单位边长的正方形顶点上(00, 10, 10, 11) 。 第二层的一个神经元, 称为输出层(output layer)完成第二阶段计算, 输出分类用判别函数的值。 2. 两层感知器分类能力 ⑴隐层神经元： d 维, 隐层有p个神经元，其作用是将输入X空间映射到p维Y空间中单位边长的超立方体顶点 yi上，即输入空间到超立方体顶点的映射是通过创建p个(gi=0)超平面实现的。 隐层作用，也可说是产生超平 面Hp的交集，即将输入拆分为 由超平面交集构成的多面体。 每个超平面由隐层中的一个神