第4讲 基于判别函数的分类方法.ppt

决策面举例1 3类3个决策面。 返回 R1 R2 R3 决策面举例2 5类8个决策面。 返回 R1 R2 R3 R4 R5 线性机器的决策域 所有决策域是凸的 每个决策域都是单连通的 不存在拒绝分类的死区 返回 多类样本的线性可分 设有一个增广模式向量样本集{Y1,Y2,…,YN}，共有N个样本；其中有n1个属于?1的样本集合记为?1，有n2个属于?2的样本集合记为?2，…，有nc个属于?c的样本集合记为?c。如果存在一个线性机器能把这些样本正确分类，则该样本集是线性可分的。 返回 多类问题的增广解向量 对于线性可分的多类样本，存在一组增广解向量 使当 时，对一切 有： 返回 多类问题的固定增量算法 1. 任意选择初始权向量 2. 如果 并且除i=j外，对于至少一个i有 ，则 对于满足该不等式的i, 如果 ，并且除i=j外，对于所有的i，有 ，则保持Aj不变。 返回 课堂练习 决策面练习 梯度计算练习 梯度下降算法练习 固定增量算法练习 返回 决策面练习 试确定如下决策面的法向量、原点相对它们的正反和原点到它们的距离 返回 梯度计算练习 设f(X) =f(x1,x2)=3 x1+4x2–7，求梯度?f(X)。 设 , 求 。 返回 梯度下降法练习 设 其中X1和X2为第1类，X3和X4为第2类, 用梯度下降算法求线性判别函数g(X)=WTX+w0。 返回 固定增量算法练习 设 其中X1和X2为第1类, X3和X4为第2类,用固定增量算法求线性判别函数g(X)=WTX+w0。 返回 课后作业 编程实现固定增量算法 基本要求： 用3组随机生成的两类2维样本数据集对算法进行测试，每类样本至少30个样本，运行结果以图形方式输出，同时给出解向量和判别分界线的方程，并撰写设计、分析和测试报告。 返回 什么是收敛 重复迭代过程，直到权向量Ak不再变化时为止，这时Ak收敛为解向量。 如果 不是线性可分的，则迭代过程不会收敛，将无限进行下去，所以在编制程序时应考虑或在一定时间限度内停止，或当Ak在一个不收敛区域内循环而停止。 返回 固定增量算法的收敛性定理 如果增广模式向量样本集 是线性可分的，则固定增量算法一定收敛。 返回 固定增量算法的收敛性证明 固定增量算法的规格化 关于解向量的假设 收敛性证明的关键 收敛性的证明 校正次数的估算 返回 固定增量算法的规格化 用一个样本集R来代替 ，方法如下： 针对R的固定增量算法为： 对Y?R，如果 ，则Ak+1=Ak+Y； 否则Ak+1=Ak。 返回 关于解向量的假设 由于样本集是线性可分的，所以存在这样一个解权向量 ，使得对于所有的Y?R，有： 从而对任意?0， 因此 也都是解向量。 返回 收敛性证明的关键 如果在第k步迭代时进行校正，则存在两个正数?和?，使得 因为此时 ， 所以 返回 ?和?的构造方法 令?为模式向量的最大长度，即： 令?为解向量与模式向量的最小内积，即： 如果选择 ，则可满足要求。 返回 收敛性的证明 如果第k步时进行了m次校正，则有: 所以经过m0次校正后校正将终止，其中 返回 校正终止意谓着Ak使R中所有样本正确分类， Ak将不再发生变化，从迭代收敛。 校正次数的估算 如果令初始向量A0为零向量，则 所以当解向量与某个样本的内积非常小时，求解将非常困难。 返回 感知器算法 设原样本为Xi,类别yi = ±1 R=max{||Xi||,1?i?N}, h=1学习率 W0 =0,b0 =0 If yi(Wk·Xi+bk) ≤0, then Wk+1=Wk+hyi Xi bk+1=bk+hyi R2 校正次数: (2R/d) 2 , d为两类最小间隔 返回 支持向量机 ????????????????????????????????????????????????????????????????????????????????????