模式识别 总结.pptVIP

* 矩法估计是用样本的统计矩作为总体理论矩的估值。若类的概型为正态分布，我们用矩法估计出类的均值矢量和协方差阵后，类的概密也就完全确定了。 * 如同矩法估计一样，最大似然估计要求已知总体的概型，即概密的具体函数形式，它也将被估计量作为确定性的变量对待。但最大似然估计适用范围比矩法估计更宽一些，可以用于不是正态分布的情况。 最大似然估计的优点是在实际中计算p(X|?)比p(? |X)计算要容易得多，这里不涉及的概密。虽然最大似然估计量次于贝叶斯估计量，但在某些条件下，最大似然估计能获得方差最小的估计或渐近性很好的估计，因此有着广泛应用意义。 判别规则： 解多类问题的两分法:⑴ 两分法 有不确定区域⑵ 两分法⑶ 没有不确定区的 两分法 令 3·3 判别函数值的鉴别意义、权空间及解空间 （1）系数矢量 是超平面 的法矢量； （2） 的绝对值 正比于 到超平面的距离； （3） 的正（负）反映 在超平面 的正（负）侧。 3·4 Fisher线性判别 多维 ? Fisher变换 ? 利于分类的一维 （1）Fisher准则函数 对两类问题 作变换，n维矢量 在矢量 方向轴上的投影 Fisher准则函数 （2）Fisher变换 对于两类问题, 它所对应的本征矢量 称为Fisher最佳鉴别矢量。 Fisher变换函数 ： （3）Fisher判别规则 3.5 一次准则函数及梯度下降法 如果训练模式已经符号规范化，即 已乘以－1（包括增广分量1），则 收敛定理 解多类问题 3·6 二次准则函数及其算法 式中 是 矩阵。 将上面的不等式组写成矩阵方程形式，并引入N 维余量矢量 ，于是不等式方程组变为 最小方差准则及W-H算法 针对方程组 ,构造方差准则函数 对于 ,此时的 , 而对于 ,此时的 。如果方程组有唯一解,说 明训练模式集是线性可分的,如果方程组无解,极小点值是最小二乘解。一般情况下使 极小等价于误分模式数目最少。 ⑴ 伪逆法 求 对 的梯度并令其为零，有 可得 (3-6-12) 当(X ’X)-1存在时， X +=(X ’X)-1X ’称为X的伪逆(也称广义逆或M-P逆)， 称为 的伪逆解。 X ’X是(n+1)×(n+1)矩阵，一般是非奇异的。 当(X ’X)-1不存在时，可用广义逆法解 这里(X ’X)+为X ’X的广义逆矩阵。 求解最佳权矢量的方法： ⑵ 梯度法 由前述知， 的梯度为 梯度下降算法迭代公式为 Step1. 任取 Step2. (3-6-13) 可以证明，当 为任意正的常数，则该算法使权矢量序列 收敛于 ; 满足 ， 也称为MSE解。 Step1. 任取 Step2. 此算法通常称为W－H(Widrow－Hoff)算法 仿前采用单样本修正法，则式(3-6-13)可以修改为 为了减少计算量和存储量，由于 (3-6-14) 3·12 势函数分类法 概念：?1：q+； ?2 ：q- 定义点 处的位势函数 ，它应满足： ⑴ ； ⑵ 是连续光滑函数； ⑶ 是 与 间距离的单值单调下降函数;当且仅当 时，达其最大值; 第一类位势函数 设 是 定义域中的完备正交函数集，位势函数取为 第二类位势函数取关于 和 的距离的对称函数作位势函数，例如 两类位势函数 第四章 统计判决 总结 概念: 后验概率： 类概密： 先验概率： 4·1最小误判概率准则判决 总的误判概率 t ?1 ?2 x p(x|?1)P(?1) p(x|?2)P(?2) ?21P(?2) ?12P(?1) 多类问题，最小误判概率准则有如下几种等价的判决规则 (1) (2) (3) (4) 4·2 最小损失准则判决 对一个实属?i 类的模式采用了决策?j