第4章节线性判别函数1.pptVIP

?????????????;1.按贝叶斯决策理论设计分类器的步骤 ;按照基于统计参数的决策分类方法，判别函数及决策面方程的类别确定是由样本分布规律决定的，例如，符合某种条件就可使用线性分类器。 利用样本集直接设计分类器的基本思想： 给定某个判别函数类，且假定判别函数的参数形式已知 用训练的方法来估计判别函数的参数值 分类决策 在非参数判别方法的设计中，使用什么典型的分类决策方法要预先由设计者确定，然后利用训练样本集提供的信息进行训练与学习，从而确定这些函数中的参数。这是参数与非参数判别方法的一个重要不同点。;问题描述：;例如下图：三类的分类问题，它们的边界线就是一个判别函数。;判别函数包含两类： 一类 是线性判别函数： 线性判别函数 广义线性判别函数 （所谓广义线性判别函数就是把非线性判别函数映射到另外一个空间变成线性判别函数） 分段线性判别函数 另一类是非线性判别函数;;§4.2 线性判别函数;线性判别函数的基本概念;线性判别函数的基本概念;线性判别函数的几何意义;x1;线性判别函数的几何意义;线性分类器的设计步骤：; 换一个方式说： 设计线性分类器，是指所用的判别函数、分界面方程的类型已选定为线性类型，因此主要的设计任务是确定线性方程的两个参数，一个是权向量w，另一个是阈值w0。 为了使所设计的线性分类器在性能上要满足一定的要求，这种要求通过一种准则来体现，并且要表示成一种准则函数，以便能通过将准则函数值优化的方法确定w与w0 。;§4.3 Fisher线性判别;首先要确定准则函数； 然后再利用训练样本集确定该分类器的参数，以求使所确定的准则达到最佳。;;Fisher准则的基本原理;一些基本参量的定义;一些基本参量的定义;根据Fisher选择投影方向w的原则：使原样本向量在该方向上的投影能兼顾： 类间分布尽可能分开， 类内样本投影尽可能密集。;得出最终表达式：;最佳W值的确定;数值R ;最佳投影方向的理解 ;阈值w0的确定;决策规则;例1：设两类样本的类内离散矩阵分别为 ;;解：;解：