广义线性判别函数.ppt

2）分段线性距离分类器 设：M类模式，其中ωi类划分为li个子类，第n个子类的均值 向量为 。每个子类的判别函数： 每类的判别函数： 判决规则： 若 则 3.8.2 分段线性判别函数的学习方法 1．已知子类划分时的学习方法 * 每个子类看成独立的类； * 在一类范围内根据多类情况3，学习各子类判别函数； * 继而得到各类判别函数。 2．已知子类数目时的学习方法 用类似于固定增量算法的错误修正算法学习分段线性 判别函数 3．未知子类数目时的学习方法 树状分段线性分类器 树状分段线性分类器判别函数的学习及分类过程 暂停点 ： ， ； ： ， 3.8.3 势函数法 1. 势函数概念 划分属于ω1和ω2类模式样本： 样本是模式空间中的点， 将每个点比拟为点能源，在点上势能达到峰值，随着与 该点距离的增大，势能分布迅速减小。 ω1类样本势能为正——势能积累形成 “高地”； ω2类样本势能×(-1)——势能积累形成 “凹地”； 在两类电势分布之间，选择合适的等势面（如零等势 面），即可认为是判别界面了。 借用点能源的势能概念解决模式分类问题。 一个样本xk 的势能分布用势函数 K( x , xk )表示 积累 势函数 一维情况示例 2. 势函数法判别函数的产生 依次输入样本，利用势函数逐步积累势能的过程。 判别函数由模式空间中样本向量 的势函数K(X, Xk)累加产生，分类器计算积累势K(X)，最后 取d(X)=K(X)。 设初始积累势函函数 ，下标为迭代次数。 势函数法： 第一步：加入训练样本 X1 ， K1(X) 描述了加入第一个样本后的边界划分。 第二步：加第二个训练样本X2，分三种情况： 分类正确，势函数不变： ① ② ，错误分类，修改势函数： ，错误分类，修改势函数： ③ 第k步：设Kk(X) 为加入训练样本X1 ，X2 ，…，Xk后的积累势函数， 则加入第k+1个样本，有： 正确分类， ① ② ，错误分类： ③ ，错误分类： 以上决定积累位势的迭代算法可写为： 其中rk+1 为校正项系数，定义为： (3-57) (3-58) 从所给的训练样本集 中略去不使积累势发生 变化的那些样本，可得一简化样本序列 （校 正错误的样本），算法可规纳为： 即：由(k+1)个训练样本产生的积累势，等于两类中校正错误 的样本的总势能之差。 式中， (3-59) (3-60) 从势函数算法可看出，积累势函数起着判别函数的作用，因此可直接用作判别函数，故取 d(X)=K(X) 。 由(3-57)式得： 式中rk+1按(3-58)式取值： 也可简写成： 式中 取值同(3-60) ： (3-57) (3-61) 两个n维向量 X 和 Xk 的函数K(X, Xk) ，如同时满足下列三个条件，都可做为势函数： 3. 势函数的选择 ，当且仅当 X = Xk 时达到最大值。 ① ② 当向量 X 与 Xk 的距离趋于无穷时，K(X, Xk) 趋于零。 ③ K(X, Xk) 是光滑函数，且是X与Xk之间距离的单调下降函数。 1）势函数应具备的条件 2）构成势函数的两种方法 式中 ，在模式定义域内应为正交函数集。 ① Ⅰ型势函数：用对称的有限项多项式展开，即： a) 内积：定义为 ，是一个实数。 “正交函数”概念：已知函数y(x)和z(x)， b) 正交：满足(y, z)=0。 例： 将这类势函数代入(3-61)式，有判别函数： ② Ⅱ型势函数：直接选择双变量 X 和 Xk 的对称函数作为势函数，即 ，如： (3-67) (3-68) 曲线 c 含有正弦函数，具 有振荡特点，只有第一个 振荡周期可用。 式中 为正常数。 (3-66) 图3.25 一维Ⅱ型势函数举例 曲线a —— (3-66) 曲线b —— (3-67) 曲线c —— (3-68) 例3.14 设两类训练样本集 样本分布如图所示。用Ⅱ型势函