非线性分类器及神经网络答辩.pptVIP

非线性分类器与神经网络Nonlinear Classifiers and Neural Networks;§1 引言 §2 异或问题 §3 两层感知器 §4 反向传播算法 §5 径向基函数网络 §6 支持向量机 §7 其他非线性分类法 1. 分段线性分类器 2. 树状分类器 3. 二次判别函数;一、 分段线性距离分类器;2. 分段线性分类器 图中有两类，样本为同协方差多峰分布。 若把各类均值向量mi作为代表点，设计最小距离分类器，得到分界面 I，显然错误率大。 若取多个代表点，如w1取2个，w2取3个，仍用距离判别函数，则得折线分界面 II。 未知类别样本可分到最近代表 点所属的类中去，这种分段线 性的分界面II没有错误。 分段线性分界面由超平面 组成，其中每一段都是最 小距离分类器。 ;二、 树状分类器;二、二次判别函数 决策面较复杂，是二次曲面，包括超球面、超椭球面、超双曲面等。其判别函数;有些特殊情况可用此法： ⑴一类样本较集中，另一类均匀分布在其周围 其决策面为超椭球。 ⑵两类各自都较集中 决策面为双曲面。;例：用二次判别函数对XOR问题分类 三维向量映射到立方体的顶点上，如图(00)→(000), (11)→(111), (10)→(100), (01)→(010) 这些顶点可由下面平面分类： 该平面的决策函数为; §1 引言;对于非线性分类，选择一个合适的非线性判别函数是很困难的，如图AD, BD, CD。 解决方法： ⑴神经网络 (即多层感知器)具有很强的 处理非线性的能力，适合非线性分类。 神经网络中要解决的主要问题： ①学习方法－目的修改权值，如反向传播算法。 ②网络结构－层数，每层神经元数及连接方式。 ③用支持向量机(网络)可得到最优分界面。 ⑵ 用树分类器进行多级决策。在树分类器上用线性判别函数，就构成了一个分段线性分类器。 ⑶ 对一些特殊的问题可用二次判别函数。;§2 异或问题（XOR）;; §2 两层感知器;d;⑵异或问题用两层感知器分两阶段解决;⑶???层感知器模型;d;;⑵输出神经元 超平面将超立方体分为两部分，一部分顶点位于一侧，其余为另一侧。上例 d=2, p=3 则 该平面将三维几何空间 (R3 )分为两个区域： 一侧(类A)顶点是 000∪001∪011； 另一侧(类B)顶点是 010∪100∪110∪111。 而101不与任一区域对应。 平面方程 g(y)=-y1-y2+y3+0.5=0 两层感知器不能解决所有的问 题，如下列类域的分离： 类A－ (000∪111∪110)； 类B－ (001∪011∪010∪100)。 这取决于每个神经元的gp(x)所构成的平面位置。;⑶例：两层感知器结构为2:3:1(d=2, p=3, j=1)，用分段线性方法将非线性两类分开。 第一隐层三个神经元有相同的输入x，由于gi (x) 的不同，有不同的输出。i=1,2,3。 其分类空间是三维的。gi (x)＝0 建立的三个超平面H1H2H3将d维特征空间分割成正负两个半空间。 图中的三个超平面围成7个区域，共两类(w1 w2) ，每个区域映射到超立方体顶点。 w2 ∈100∪000∪010 ∪011∪111∪101 w1 ∈110 输出层组织输出。;j个;三层网络可以实现任何复杂类型的映射。可以证明，由于在分类空间中超立方体的凸性，对于无论多么复杂的分类问题，一般来说用两个隐层已足够。 图a单层感知器只能一个线性判别；图b两层感知器中每个隐层神经元都有线性判别能力，就可建立复杂的凸区域；图c三层感知器的前二层已得到了超体立方，在第三层再次建立超平面划分区域。 多层感知器简称 MLP。 Multi-Layer-Perceptron; §3 反向传