模式识别原理课件第3章 判别函数及几何分类法.ppt

3.4 线性判别函数的几何性质 3.4.1 模式空间与超平面 模式空间：以n维模式向量X的n个分量为坐标变量的欧氏空间。 模式向量的表示：点、有向线段。 线性分类：用d(X)进行分类，相当于用超平面d(X)=0把模式空 间分成不同的决策区域。 2. 讨论 1. 概念 式中， ， 。 设判别函数： 超平面： (1) 模式向量X1和X2在超平面上 —— W0是超平面的法向量， 方向由超平面的负侧指向正侧。 设超平面的单位法线向量为U： (2) X不在超平面上 将X向超平面投影得向量Xp， 构造向量R： r：X到超平面的垂直距离。有 (r) —— 判别函数d(X) 正比于点X到超平面的代数距离。 X到超平面的距离： —— 点X到超平面的代数距离（带正负号）正比于d(X)函数值。 (3) X在原点 得 —— 超平面的位置由阈值权wn+1决定： wn+1 0时，原点在超平面的正侧； wn+1 0时，原点在超平面负侧； wn+1= 0 时，超平面通过原点。 3.4.2 权空间与权向量解 1. 概念 权空间：以 的权系数为 坐标变量的（n+1）维欧氏空间 增广权向量的表示：点、有向线段。 2. 线性分类 判别函数形式已定，只需确定权向量。 类：X11，X12，…，X1p 类： X21，X22，…，X2q 设增广样本向量： 使d(X)将ω1和 ω2分开，需满足 给ω2的q个增广模式乘以（－1），统一为 , 其中 —— 样本的规范化过程。 对每个已知的X，d(X)=0在权空间确定一个超平面，共(p+q)个。 在权空间中寻找向量W使判别函数d(X)能把ω1类和ω2类 分开，就是寻找一个权向量，其在（p+q）个超平面的正侧的 交迭区域里(W的解区)。 X：规范化增广样本向量。 例：二维权空间，超平面的方程为： 超平面：过原点的直线； 阴影部分：解区。 3.4.3 二分法 二分法（Dichotomies）：用判别函数d(X)将给定的N个模式 分成两类的方法。是一种基本的分类方法。 判别函数的不同分类能力可以通过二分法总数衡量。 若不限制判别函数的形式，N个n维模式用判别函数分成两 类的二分法总数为2N。 若限定用线性判别函数，并且样本在模式空间是良好分布 的，即在n维模式空间中没有(n+1)个模式位于(n－1)维子空间 中，可以证明，N个n维模式用线性判别函数分成两类的方法总 数，即线性二分法总数为 或线性二分法概率： 只要模式的个数N小于或等于增广模式的维数（n+1）， 模式类总是线性可分的， 例：4个良好分布的2维模式，若用线性判别函数分类 线性二分法总数： 线性二分法概率： 图3.14 线性二分法的概率 将λ=2时的N值定义为阈值N0，称为二分法能力，即 通过N0，可以对任意N个样本的线性可分性进行粗略估计。 3.5 感知器算法 只要求出权向量，分类器的设计即告完成。本节开始介绍如何通过各种算法，利用已知类别的模式样本训练出权向量W。 对线性判别函数，当模式维数已知时，判别函数的形式实际上已经确定，如：三维时 3.5 感知器算法 1. 概念理解 训练：用已知类别的模式样本指导机器对分类规则进行反复修 改，最终使分类结果与已知类别信息完全相同的过程。 1）训练与学习 学习：从分类器的角度讲 非监督学习 监督学习 训练 3）感知器 对一种分类学习机模型的称呼，属于有关机器学习的仿生学领域中的问题，由于无法实现非线性分类而下马。但“赏罚概念（ reward-punishment concept）” 得到广泛应用。 处理确定可分情况的分类器。通过几何方法将特征空间 分解为对应不同类的子空间，又称为几何分类器。 2）确定性分类器 2. 感器算法（perception approach） 两类线性可分的模式类： ，设 其中， ， 应具有性质 对样本进行规范化处理，即ω2类样本全部乘以(－1)，则有： 感知器算法通过对已知类别的训练样本集的学习，寻找 一个满足