模糊识别与神经网络.ppt

解向量与解区 感知器 * 感知器准则函数 对于任何一个增广权向量a ， 对样本y正确分类，则有：aTy0 对样本y错误分类，则有：aTy0 定义一准则函数JP(a) (感知准则函数)： 被错分类的规范化增广样本集 恒有JP(a)≥0，且仅当a为解向量，Yk为空集（不存在错分样本）时， JP(a)=0，即达到极小值。确定向量a的问题变为对JP(a)求极小值的问题。 感知器 梯度下降算法 梯度下降算法：对(迭代)向量沿某函数的负梯度方向修正，可较快到达该函数极小值。 感知器 算法(step by step) 1. 初值: 任意给定一向量初始值a1 2. 迭代: 第k+1次迭代时的权向量ak+1等于第k次的权向量ak加上被错分类的所有样本之和与rk的乘积 3. 终止: 对所有样本正确分类 任意给定一向量初始值a1 ak+1= ak+ rk×Sum(被错分类的所有样本) 所有样本正确分类 得到合理的a完成分类器设计 N Y 感知器 感知器方法例解 固定增量法与可变增量法 批量样本修正法与单样本修正法 单样本修正法：样本集视为不断重复出现的序列，逐个样本检查，修正权向量 批量样本修正法：样本成批或全部检查后，修正权向量 感知器 感知器方法小结 感知准则函数方法的思路是：先随意找一个初始向量a1，然后用训练样本集中的每个样本来计算。若发现一个y出现aTy0，则只要ak+1 = ak + rky，rk为正(步长系数)，则必有ak+1Ty = akTy + rkyTy，就有趋势做到使ak+1Ty 0。当然，修改后的ak+1还可以使某些y出现ak+1Ty 0的情况，理论证明，只要训练样本集线性可分，无论a1的初值是什么，经过有限次叠代，都可收敛。 感知器 4.4 最小平方误差准则 规范化增广样本向量yi，增广权向量a，正确分类要求： aTyi0, i=1,…,N 线性分类器设计?求一组N个线性不等式的解a* 样本集增广矩阵Y及一组N个线性不等式的的矩阵表示： 引入余量(目标向量) b=[b1, b2, …, bN]T， bi为任意给定正常数， aTyi = bi 0 N个线性方程的的矩阵表示： 矛盾方程组，没有精确解 平方误差准则函数 定义误差向量 e=Ya-b： 定义平方误差准则函数Js(a): 最小二乘近似解（MSE解）： MSE方法的思想：对每个样本，设定一个“理想”的判别函数输出值，以最小平方误差为准则求最优权向量 MSE MSE准则函数的伪逆解 Y的伪逆矩阵 MSE MSE方法的迭代解 a*=Y+b, Y+=(YTY)-1YT，计算量大 实际中常用梯度下降法： 批量样本修正法 单样本修正法 MSE Widrow-Hoff MSE方法与Fisher方法的关系 与Fisher方法的关系：当 N1个 N2个 MSE解等价于Fisher解 MSE MSE方法与Bayes方法的关系 当N→∞，b=uN= [1,1, …, 1]T 时，则它以最小均方误差逼近Bayes判别函数： MSE MSE方法应用举例 MSE 4.5 多类问题 两类别问题可以推广到多类别问题 ωi/~ωi 法：将C类别问题化为(C-1)个两类（第i类与所有非i类）问题，按两类问题确定其判别函数与决策面方程 。 ωi/ωj 法：将C类中的每两类别单独设计其线性判别函数，因此总共有C(C-1)/2个线性判别函数。 R1 R3 R2 ω1 非ω1 ω2 非ω2 R1 R3 R2 ω1 ω2 ω1 ω3 ω3 ω2 多类线性判别函数 将特征空间确实划分为c个决策域，共有c个判别函数 决策规则： 决策域的边界由相邻决策域的判别函数共同决定，此时应有gi(x)=gj(x) 线性分类器的决策面是凸的，决策区域是单连通的 多类分类器的分界面是分段线性的 多类问题 多类线性决策面图例 R1 R3 R2 g1g2 g1g3 g3g1 g3g2 g2g3 g2g1 R1 R3 R2 R5 R4 多类问题 决策树简介 决策树：一种多级分类器，它采用分级的形式，综合用多个决策规则，逐步把复杂的多类别分类问题转化为若干个简单的分类问题来解决 n1 n2 n3 n4 n5 t1 t2 t3 t4 t5 t6 t7 多类问题 二叉决策树 二叉决策树：除叶节点外，决策树的每个节点ni都有且只有两个子节点nil和nir。二叉决策树把复杂的多类别分类问题转化为多级两类分类问题来解决。在每个节点ni ，都把样本集分成两个子集。每个子集可能仍包含多类别的样本，继续分直至仅包含单类别样本的叶节点 n1 n2 n3 n4 t1 t2 t5 x2≤5 x1≤2 x3≤4 x2≤2 ω1 ω2 ω3 ω2 ω3 t3 t4 多类问题 4.6 分段线性判别函数 有些复杂模式识别问题不是线性可