线性判别函数 边肇祺.pptVIP

第四章利别画 数 李文杰  )主讲内容 1引(言 线性判别函数的基本概念 4. 2 Fisher 线性判 4.4最小错 广义线性判别函数 4.3感知 样都则 设计线性判别函数 几个基本概念 解线性不等式的 的主要步骤 共轭梯度法 感知准则函数 及其梯度下降算法 P解线性不等式的搜 1索法  4.1引言 本章内容的目的意义 贝叶斯决策方法的一般步骤 概率密度函数估计的实际困难 利用样本直接设计分类器 线性判别函数的一般做法 简单的函数形式,参数待定 根据设计要求提出准则函数,优化求解 线性判别函数的分类性能 “次优” 简单易实现,计算量及存储量状影  4.1.1线性判别函数的基帐 般表达式 g(x)=wx+wo (4-1) 式中x是d维特征向量,又称样本向量,w称为权向量 分别表示为 X M0是一个常数(阈值权)对于两类问题的线性分类器可以采用下述决规则: g(x)=81(x)-g2(x)  如|gx)0,则决策x∈1 果{g(x)O0,则决策x∈O g(x)=0,可将其任意分类或拒绝 方程个g(x)=0定义了一个决策面,它把归类于a1类的点与归类a2的点分 割开来,当个g(x)为线性函数时,这个决策免便是超平面 假设 都在决策面H上,则有 w M,t Wo- w x2+ wo w(x1-x2)=0 说明W与超平面H正交,为其法向量。 决策面正侧、负侧 少PPT理  r=x+r (4-5) 式中:xn:是x在H上的投影向量,r:是x到H的重直距离 是w方向上的单位向量 g(x) w n+ Wo+I 又:0 g(x)可看作点到超平面距离的一种代数度 点到超平面距离 (4-6) 原点到超平面距离6 (0) vo的正负决定超平面相对原点的位置  超平面的确定 权向量决定方向 值权确定位置 判别函数正比于点到超平面的代数距离(带正负) 超平面正负侧对应不同类别 PPT理爱  4.12广义线性判别函数 ◆线性判别 形式最为简单的判别函数, 但是它不 觜学 复杂情况。 例:设计一个一维分类器,使其功能为 如果xb或xa则决策x∈O1 b≤x≤a则决策x∈a2 显然,没有任何一个线性判别函数能解决这个 划分问题 说明线性判别函数不适用于非凸决策区域和多 联通区域的划分问题。 天PPT旅理爱  从左图知,如果建 二次判 别函数 g(x)=(x-a)(x-b) CU/ )2 7 則能很好解决。 决策规则是 如果8(x)0则决策x∈a 1g(x)0则决策x∈a2 ◆二次函数的一般形式:g(x)=C0+Cx+C2x 如果适当选取x→y的映射,则可把二次判别函 数化为y的线性函数 g(r)=ay  yI 其中,y=y2 y3 g(x)称为广义线性判别函数,a叫做广义权向量。 按照上述原理,任何非线性函数g(x)用级数展开成高次多项式 都可转化成线性来处理。遗憾的是,经过这种变化,数人大加 了,这将出现“维数灾难”。但若把式(4-1)定义的线性判别函数 成如下形式 g(x)=∑mx+两=∑ay=a (4-12 其中 y=x a= w PPT温爱