模式识别3.1.pptVIP

Aij是aij的代数余子式，注意两者的行和列的标号互换。 (2) 求伪逆矩阵 求逆矩阵： 若 ，则 |A|——A的行列式 A*——A的伴随矩阵 划去aij所在的行和列的元素，余下元素构成的行列式做aij的余子式，记作Mij ，将 叫做元素aij的代数余子式。例： 代数余子式定义： 行列式: (3) 取 和 c=1 开始迭代： . 解为 W(1) ，判断函数为： 图示如下： 例3.12 已知模式训练样本： ， ( 2) 求 ： 解：(1) 规范化增广样本矩阵： (3) 取 和c=1，迭代： 用LMSE算法求解权向量。 e(1)全部分量为负，无解，停止迭代。为线性不可分模式。 小结： (1) 感知器法、梯度法、最小平方误差算法讨论的分类算法 都是通过模式样本来确定判别函数的系数，所以要使一个分 类器设计完善，必须采用有代表性的数据，训练判别函数的 权系数。它们能合理反映模式数据的总体。 (2) 要获得一个有较好判别性能的线性分类器，所需要的训 练样本的数目的确定。 用指标二分法能力N0来确定训练样本的数目： 通常训练样本的数目不能低于N0 ，选为 N0的5~10倍左右。 二维：不能低于6个样本，最好选在30~60个样本之间。 三维：不能低于8个样本，最好选在40~80个样本之间。 n为模式维数 如 六 Fisher分类准则 现在讨论通过 映射投影来降低 维数的方法。 X空间 X=-WTX-W0 0 X∈ω1 X=-WTX-W0 0 X∈ω2 映射Y空间 Y=WTX-W0 0 X∈ ω1 Y=WTX-W0 0 X∈ω2 把X空间各点投影到Y空间得一直线上，维数由2维降为一 维。若适当选择W的方向，可以使二类分开。下面我们从 数学上寻找最好的投影方向，即寻找最好的变换向量W的 问题。 w(y) w y1 y2 x2 x1 ω1 ω2 投影样本之间的分离性用投影样本之差表示 投影样本类内离散度: i=1,2 i=1,2 类间散布矩阵 上式就是n维x空间向一维y空间的最好投影方向， 它实际是多维空间向一维空间的一种映射。 其中Sw为类内散布矩阵, Sb为类间散布矩阵 现在我们已把一个n维的问题转化为一维的问题。 现在一维空间设计 Fisher分类器: W0的选择 ???? ????? ???? Yki表示第i类中第k个样本的投影值 N1为ω1样本数 N2为ω2样本数? 当W0选定后，对任一样本X，只要判断Y=WTX0 则 X∈ω1; Y=WTX0 则X∈ω2。分类问题就解决了 §4-2 分段线形分类器 1 分段线形分类器的基本概念 2基于距离的分段线性判别函数 （1）最小距离分类器 （2）多类距离分类器 p121 图5.3 （3）分类线性判别函数 3 多类问题 （1）多类问题的基本概念 （2）多类问题的分段线性解决 （3）多类问题的决策树方法 §3-3 分段线形分类器设计 先求子类的权向量Wi l，再求总的权向量Wi 1. 已知子类划分时的设计方法 把每一个子类作为独立类，利用每个子类的训练样本， 求每个子类的线性判别函数，总的判别函数就可获得。 子类的划分可用以下方法： ① ? 用先验知识直接划分 ②?? 用聚类分析，聚成多个子类 2.?已知子类的数目的设计方法 ① 设各个子类的初始权向量：Wi 1 , Wi 2 …Wi li