模式识别参数估计.pptVIP

第五章 统计决策中的参数与非参数估计;主要内容;参数估计与监督学习;监督学习与无监督学习;5.2参数估计; 1.原理： 第i类样本的类条件概率密度： P(Xi/ωi)= P(Xi/ωi﹒θi) = P(Xi/θi) 原属于i类的学习样本为Xi=(X1 , X2 ,…XN,)T i=1,2,…M 求θi的最大似然估计就是把P(Xi/θi)看成θi的函数，求出使它最大时的θi值。 ∵学习样本独立从总体样本集中抽取的 ∴ N个学习样本出现概率的乘积 取对数 ：;对θi求导,并令它为0： 有时上式是多解的, 上图有5个解,只有一个解最大即. ; 2. 多维正态分布情况 ① ∑已知, μ未知,估计μ 服从正态分布 所以在正态分布时 ;结论;② ∑， μ均未知 A. 一维情况：n=1对于每个学习样本只有一个特征的简单情况： (n=1)由上式得 即学习样本的算术平均 样本方差;讨论： 1.正态总体均值的最大似然估计即为学习样本的算术平均 2.正态总体方差的最大似然估计与样本的方差不同，当N较大的时候，二者的差别不大。 B．多维情况：n个特征 估计值： 结论：①μ的估计即为学习样本的算术平均 ②估计的协方差矩阵是矩阵 的算术 平均（nⅹn阵列， nⅹn个值） ;5.3贝叶斯估计与学习;估计步骤: ① 确定θ的先验分布P(θ),待估参数为随机变量。 ② 用第i类样本xi=(x1, x2,…. xN)T求出样本的联合概率密度分布P(xi|θ)，它是θ的函数。 ③?利用贝叶斯公式,求θ的后验概率 ? ④ ;例子;因为N个样本是独立抽取的，所以上式可以写成 其中 为比例因子,只与x有关,与μ无关 ∵ P(Xk| μ)=N(μ,σ2),P(u)=N(μ0,σ02) 其中a’,a’’包含了所有与μ无关的因子;∴P(μ| xi)是u的二次函数的指数函数 ∴P(μ| xi)仍然是一个正态函数, P(μ|Xi)=N(μN,σN2) 另外后验概率可以直接写成正态形式： 比较以上两个式子,对应的系数应该相等 ∴ ;解以上两式得 将μN,σN2代入P(μ|Xi)可以得到后验概率，再用公式 ; ∴对μ的估计为 若令P(μ)=N(μ0, σ02 )=N(0,1) 与最大似然估计相似，只是分母不同 ;三．贝叶斯学习 1.贝叶斯学习的概念：求出μ的后验概率之后，直接去推导总体分布即 当观察一个样本时，N=1就会有一个μ的估计值的修正值 当观察N=4时，对μ进行修正，向真正的μ靠近 当观察N=9时，对μ进行修正，向真正的μ靠的更近 当N↑,μN就反映了观察到N个样本后对μ的最好推测，而σN2反映了这种推测的不确定性, N↑, σN2↓,σN2 随观察样本增加而单调减小，且当N→∞, σN2 →0 当N↑，P(μ|xi)越来越尖峰突起 N→∞, P(μ|xi)→σ函数，这个过程成为贝叶斯学习。 ;类概率密度的估计 在求出u的后验概率P(μ|xi)后，可以直接利用式 推断类条件概率密度。 即P(x|xi)＝ P(x|ωi ，xi) ⑴一维正态：已知σ2，μ未知 ∵μ的