第三章 线性判别分析_非参数判别分类方法-第一次课.pptVIP

参数与非参数判别方法的一个重要区别：如何确定判别函数及决策面方程的类别？ 基于统计参数的决策分类方法：由样本分布规律决定； 非参数判别方法：预先由设计者确定，然后利用训练样本集提供的信息确定这些函数中的参数。 —— 两个部分：选择函数类型与确定最佳参数。 本章重点： 掌握非参数判别分类法的原理，与参数判别分类方法的区别 。 掌握线性判别函数的形式、几何意义及三分类问题的划分方法。 学习线性分类器的两种典型算法，即以Fisher准则为代表的传统模式识别方法，以感知准则函数为代表的机器自学习方法。 用近邻法对事物进行分类。 第3章　线性判别分析 第三章 线性判别分析 —— 非参数判别分类方法  本章的思路：利用样本直接设计分类器, 可以避开各类的概率密度函数的估计, 其基本思想就是设定一组判别函数, 并利用样本直接计算判决函数中的有关参数。 　　 本章内容 3.1　线性判别函数 3.2　线性分类器 3.3　分段线性分类器 3.4　近邻分类器 总结 习题 3.1　线性判别函数 　　 　　本节重点分析线性判别函数的几何意义, 并在此基础上介绍线性分类器设计的方法。  3.1.1　线性判别函数的几何意义 　　线性判别函数的形式如下: 其中: wi 称为权向量; wi0 称为阈值权。 wi和wi0 的值需根据样本集来确定。 线性分类器设计的关键在于确定权向量wi和阈值权wi0。 　　1. 两类问题的讨论 　　在两类情况下, 判决函数具有简单的形式:  　　若　　　　　　，则判决　　　（或）ω2； 　　若　　　　　　，则判决　　　（或）ω１； 　　若　　　　　　，则不作判决或作任意判决， 即可判成ω１、 ω2中的任意一类。 　 即 则变形为： 　两类判决区域的分界面为 常数 其几何意义为d维欧几里德空间中的一个超平面。 　　(1) w是超平面的法向量。 　　对于两类分类问题, 线性判决函数的几何意义在于利用一个超平面实现对特征空间Rd的划分。 若以H表示超平面, 则对H上的任意两点x1、x2有 w和H上任一向量正交, 即w是超平面H的法向量。 超平面示意图 如果取最大判决， w指向R1, R1中的点在H的正侧。 R2中的点在H的负侧。