模式识别之二次和线性分类器.pptxVIP

2.3 二次和线性分类器 ;这一节的目的（概念）有两个： ;即使我们得到了密度函数，有时用似然比检验的方法也很难计算，需要大量的时间和空间。 因此我们有时考虑更简便易行的分类器设计方法。用二次、线性、分段线性分类器。即先规定分类器的数学形式，然后在适当的准则下，来确定这些参数。 这一节先分析在什么条件下贝叶斯分类器变成二次和线性分类器，然后讨论当这些条件不满足时，如何设计“性能好”的参数分类器。 ;一. 两类问题的二次和线性分类器;当各类的类条件密度是高斯分布时， ;这时似然比为 ;上式是二次分类器。计算x到各类均值mi的 Mahalanobis距离，然后和阈值 相比较，决定x属于第一或第二类。 ;在一维时，马氏距离 ，即比较用方差标准化的一般距离。 ;决策边界h(x)=T是二次曲面（超曲面）：超椭球面、超双曲面、超抛物面、超平面等，或它们组合的形式。 （为了确定二次曲面的形状，首先要消掉x的各分量相乘的项，可采用旋转坐标系的方法，把坐标轴旋转到A（※※）的特征向量的方向。曲面的几何形状由A的特征值决定。如果A的特征值全部是正的，则是超椭球面；如果特征值有些正，有些负，则是超双曲面；如果有些特征值是0，则是超抛物面。） ;当x落到决策边界的某一侧时，就把它分到相应的类。也可以把上述二次分类器用到非高斯分布的密度函数，但这时不能保证错误率最小。（但所确定的边界是和二阶统计矩（均值、方差）最相匹配的。） 任何具有（※※）式的分类器都叫作二次分类器。只有A、b、c是由高斯密度函数确定时，才叫高斯分类器。 ;例1：两维时的二次分类器的决策边界 ;解： ;假定T=0，h(x)=T=0化为： ;14;;当先验概率相等时，最小错误率决策规则选择密度函数大的。 由于第二类在x2方向上的方差大于类1的，这样密度函数p(x|ω2)在x2方向上将有较广的延伸。使得在左边R2区域内有p(x|ω2) p(x|ω1)，尽管这些点比较靠近类1的均值点。 在前面的h(x)= xTAx+bTx+c中，如果两类的协方差矩阵相等，K1= K2= K，则矩阵A=0，这时决策规则为： ;这时的决策边界就退化为线性决策边界（超平面），相应的分类器为线性分类器。 ;二. 判别函数和多类分类器 ;由贝叶斯公式， 和 等价。即把 用在（※）式中时，决策结果和 是一样的。 当先验概率相等时，p(x|ωk)也是一组等价的判别函数。 一般地，若 是任意一组判别函数，则下面定义的 也是一组等价的判别函数： ;同样，若f是单调增函数，则 它和 也是等价的判别函数。 这些性质可以使我们从一组判别函数推导出另外的判别函数，以便计算上更加简单，或者意义更清楚，便于理解。 ;当每类都是正态分布，其均值和协方差矩阵分别为mk和Kk时，这时的最小错误率决策规则的判别函数为： ;（※）;当 时，（※）式化为： ;例2：最小距离分类器。假定各类的先验概率相等，而且各类 ，即x的各个分量不相关，且各类等方差。 ;例3 ：内积分类器（相关分类器） ;即将测量向量x和每类的均值mk作内积（或称相关），然后选择值最大的，作为它的类。 ;白噪声w(t)是零均值、等方差、不相关的信号（随机过程）。即在任意时刻ti，w(ti)的均值为0，方差为 ，且当 时， 。 ;28;;把接收到的信号和已知信号作相关mkTx，然后选择相关最大的。作相关时通常通过一个“匹配滤波器”来实现。 ;在连续时，判别函数： ;即滤波器的输出是相关值，而滤波器的脉冲响应是gk(t)，匹配滤波器可由专门的仪器来作。 ;三. Fisher线性分类器— 另一种决策准则（另外一种解决思路） ;;;（3.22a ） ;（3.23a ） ;;利用（3.23）式可以求出 、 、 、 ，然后代入上式，但为了简单，有时就把b定为 ;这样分类器的形式就成为： ;小结 ;这一章还介绍了线性和二次分类器 ; * 这类线性分类器的更一般解法 ;令 ;投影 比 要好。投影后的均值 和方差 是衡量类可分性的一个准则。 ;;由于 ;由以上两式可以计算出v，但由于错误率只依赖v的方向，而不是它的大小。因而可以消去v的常数系数（不是mi和ki的函数）。 ;注意，上面得出的v和f无关，f只是出现在s中。 回想在正态、等协方差的情况下，有 这里是用s和(1－s)对K1和K2作加权平均。当f的具体形式给出后，v0