模式识别-模式识别-n-pneyman—pearson判决.pptVIP

利用贝叶斯分类器实现手写数字识别的例子 对每个手写的数字样品 , 按 NxN 方式划分 , 共有 25 份， 如图所示。 1 、理论基础 对每一份内的象素个数进行累 加统计 , 除以每一份内的象素总 数 , 设定阈值 T=0.05, 若每一份 内的象素占有率大于 T 则对应 的特征值为 1, 否则为 0. 2 、实现步骤 P( w ) 类别为数字 i 的先验概率 i （ 1 ）先计算先验概率 P ( w i ) P ( w i ) ? N i N N i 数字 i 的样品数 N 为样品总数 31 第四章 统计判决 4 · 4 N-P(Neyman — Pearson) 判决 1 在某些实际问题中，可能存在以下几种情况： ⑴ 不 知道各类的先验概率 P ( w i ) ； ⑵ 难 于确定误判的代价 l ij ； ⑶ 某 一种错误较另一种错误更为重要。 针对⑴ ， 可以采用最小最大损失准则或令各类概 率相等的办法克服； 针对⑵ ，如果允许的话，可以避开使用损失函数 而采用最小误判概率准则 ； 针对 ( 3) ，可以采用最小损失准则判决。针对上 面的三个问题，更主要的是针对⑶，我们采用 N-P 准则 。 2 所谓 N-P 准则，是严格限制较重要的一类错误概 率令其等于某常数而使另一类误判概率最小。 对两类问题， d ( x r ) = 0 将特征空间 W 分成两 个子空间 W 1 和 W 2 ，其中 W 1 U W 2 = W ， W 1 I W 2 = F 。 当一模式特征点 x r ? W 1 时，指判 x r ? w x r 1 ； 当 ? W 2 时，指判 x r ? w 2 。 3 将实属 w 类的模式 x r 1 判属 w 2 类的误判概率为 ? = ? p ( x r w r 12 1 ) d x W 2 将实属 w 2 类的模式判属 w 1 类的误判概率为 ? = ? p ( x r w r 21 2 ) d x W 1 N-P 准则是在使某一类误判概率等于常数的 约束下使另一类误判概率最小。 4 令 ? 21 = ? 0 = 常数，求使 ? 12 最小。运用 拉格朗日 乘 数法求条件极值，为此作辅助函数 : y = ? 12 ? l ( ? 21 ? ? 0 ) ? ? r r r r = ? p ( x w 1 ) d x ? l ? ? p ( x w 2 ) d x ? ? 0 ? ? ? W 2 ? W 1 ? r r r = ( 1 ? l? 0 ) ? ? ( p ( x w 1 ) ? l p ( x w 2 )) d x W 1 5 郎格朗日乘数法 : 在条件极值问题中 , 满足条件 g(x, y) = 0 下，去寻求函数 f(x, y) 的极值。 对三变量函数 F(x, y, λ) = f(x, y) + λg(x, y) 分别求 F 对三变量的偏导 , 并联立方程式 F λ = g(x, y) = 0 F x = f x (x, y) + λg x (x, y) = 0 F y = f y (x, y) + λg y (x, y) = 0 求得的解 (x, y) 就成为极值的候补。 这样求极值的方法就叫做拉格朗日乘数法、λ叫 做拉格朗日乘数。 6 r r r y = ( 1 ? l? 0 ) ? ? ( p ( x w 1 ) ? l p ( x w 2 )) d x W 1 W 1 使 y 取极小值。 求 r r p ( x w 1 ) 、 p ( x w 2 ) l 在式子中是确定的， 但注意到 在 W 空间中也是确定的，如果选择满足条件 W 一般地讲， 1 无法直接用解析的办法求得。 r r r ? W 1 就能保证 p ( x w 1 ) ? l p ( x w 2 ) ? 0 的 x 的全体作为 ? ? 1 W 1 的其它取法时的 y 值要小。 这时所求得的 y 值 y 比 W 是使被积函