模式识别的基本理论讲解.pptVIP

§2.3 近邻法 自动分类的基本方法： 1）将特征空间划分成决策域，这就要确定判别函数或确定分界面方程。 2）模板匹配：即将待分类样本与标准模板进行比较，看跟哪个模板匹配度更好些，从而确定待测试样本的分类。 近邻法：Cover和Hart于1968年提出，理论上分析与研究深入，是非参数法中最重要的方法之一；原理上属于模板匹配 近邻法的优点：在模板数量很大时其错误率小 近邻法的缺点：计算量大，存储量大 改进的办法：剪辑近邻法与压缩近邻法 * 2.3.1 近邻法原理及其决策规则 最小距离分类器： 在每个类别中确定一个代表点。测试样本的类别以其与代表点距离最近作决策。 基于距离的分段线性函数 每个类别用多个“代表点”表示 将各类训练样本划分成若干子类，并在每个子类中确定代表点。测试样本的类别则以其与这些代表点距离最近作决策。 该法的缺点：所选择的代表点并不一定能很好地代表各类，其后果将使错误率增加。 * 基于距离的分段线性函数的 极端情况----近邻法 每个样本是一个子类 分类方法: 以全部训练样本作为“代表点”，计算测试样本与这些“代表点”（即所有样本）的距离，并以最近邻者（最近似的”代表点”）的类别作为分类的类别。 ------这种决策方法就是近邻法 近邻法是分段线性判别函数的特例 * 2.3.1.1 最近邻法决策规则　　 1）判别函数： 对一个C类别问题，每类有Ni个样本，i＝1，…，C，则第i类ωi的判别函数 gi(X)=min||X- Xik ||, k=1,2,…,Ni Xik表示是ωi类的第k个样本 2）决策规则： 若： gj(X)=min{gi(X), i=1,2,…,C}； 则：X∈ωj 即：样本X的类别与离该样本距离最近的样本（近邻）同类 * 2.3.1.2 k-近邻法决策规则 最近邻法可以扩展成找测试样本的k个最近样本作决策依据的方法 基本规则 1）在所有N个样本中找到与测试样本的k个最近邻者，其中各类别所占个数表示成：Ki, i＝1，…，C 2） 决策规则：　　如果： Kj(X)=max{Ki(X)，i=1,2,…,C} 则： X∈ωj * 2.3.2 近邻法错误率 近邻法的错误率是比较难算的： 因为训练样本集的数量总是有限的，有时多一个少一个训练样本对测试样本分类的结果影响很大 在渐近概念下来分析错误率： 利用训练样本数量增至极大，来对其性能进行评价。 具体分析这里不做讨论，我们直接给出结论 * 最近邻法的错误率的上下界与贝叶斯错误率的关系 当N→∞时，最近邻法的渐近平均错误率的下界是贝叶斯错误率，这发生在样本对某类别后验概率处处为1的情况或各类后验概率相等的情况。　　在其它条件下，最近邻法的错误率要高于贝叶斯错误率（P*），可以证明以下关系式成立： P*≤P≤P*[2-C/(C-1)P*] 一般情况下P*很小 则：P* ≤ P ≤ 2P*　　 * 最近邻法错误率上下界与贝叶斯错误率关系 （红线：下界；蓝线：上界） k-近邻法错误率 1）当k增大时错误率是单调递减的。 2）因此,在N→∞的条件下，k-近邻法的错误率要低于最近邻法的错误率。 3）一般P*≤P ≤ 2P*(1-P*) 所以：P*≤P ≤ P*(2-2P*) ≤ P*(2-c/(c-1)P*) （最近邻法） ≤2 P* 即：P* ≤ P ≤ 2P* 不同k值时，k近邻法错误率上下界 与贝叶斯错误率关系(C=2) 0 0.25 0.5 0.5 0.25 0 * 2.3.3 改进的近邻法 近邻法的弱点与问题： 需要存储全部训练样本，以及繁重的距离计算量。 在所有情况下，对未知样本都能进行决策，但当错误代价太大时，会产生较大风险。 上述分析是渐近的，要求N →∞,无法实现。 以简单的方式降低样本数量，只能使其性能降低，这也是不希望的。  * 改进的思路 要研究既能减少近邻法计算量与存储量，同时又不明显降低其性能的一些改进算法。 改进的方法大致分为两种原理。 一种是对样本集进行组织与整理，分群分层，尽可能将计算压缩到在接近测试样本邻域的小范围内，避免盲目地与训练样本集中每个样本进行距离计算。可减少计算量 另一种原理则是在原有样本集中挑选出对分类计算有效的样本，使样本总数合理地减少，以同时达到既减少计算量，又减少存储量的双重效果。 * 2