《模式识别》.pptVIP

《模式识别》  《 Pattern Recognition》概率密度函数估计 佘勇 课件密码 ： kys2006 TelEmail:sy@cuit.edu.cn 办公室：科教楼110 贝叶斯分类器设计的关键要求 贝叶斯分类器是基于样本的概率分布的分类器，设计贝叶斯分类器的关键是： 决策类别数已知（c类） 先验概率P(ωi)已知 类条件概率密度p(x|ωi)已知 设计贝叶斯分类器时可能的已知条件 关于样本 1、已知类别的训练样本 2、样本类别未知，但有其它可用信息 关于类别的概率分布 1、已知先验概率P(ωi)，类条件概率密度p(x|ωi)的形式已知，但部分分布参数未知 2、已知先验概率P(ωi)，类条件概率密度p(x|ωi)完全未知 3、先验概率P(ωi)，类条件概率密度p(x|ωi)完全未知 贝叶斯分类器设计步骤 1、利用已知或未知类别的样本信息估计先验概率P(ωi)，类条件概率密度p(x|ωi)（分别表示为 ） 2、利用估计量 设计决策函数，完成分类器设计 我们希望：当样本数目N→∞时， 收敛于P(ωi)， p(x|ωi) 利用样本集估计 最大似然估计 最大似然估计基于以下假设： ①待估参数θ是确定的未知量 ②按类别把样本分成c类X1，X2，X3，… XC，其中第i类Xi的样本共N个 Xi =(x1,x2,…，xN)T，并且是从概率密度为p(x|ωi)总体中独立抽取的 ③Xi中的样本不包含θj(i≠j)的信息，所以可以对每一类样本独立进行处理 ④条件概率密度p(x|ωi)具有确定的函数形式，其参数θi未知，可以表示为p(x|θi) 根据假定，可以只利用第i类训练样本来估计第i类的概率密度函数的参数，设θi =(θ1,θ2,…，θP)T 。 似然函数 设第i类样本集Xi的样本共N个 Xi =(x1,x2,…，xN)T，是从概率密度为p(x|θi)总体中独立抽取的，则联合密度： 我们把N个随机变量的联合密度称为似然函数l(θi) 求θi的最大似然估计 如果参数空间Θ中的某个 能够使l(θi)极大化，则 即为θi的最大似然估计量 如果θi仅有一个分量（θi为标量），则θi的最大似然估计量为下列方程的解： 有时为了计算方便，可对似然函数取对数： 如果θi =(θ1,θ2,…，θP)T ，则定义梯度算子 ： 对于对数似然函数H(θi)=lnl(θi)，下述方程其中的一个解为θi的最大似然估计： 对θi求导,并令它为0： 有时上式是多解的, 上图有5个解,只有一个解最大即. 一维正态分布的最大似然估计 设Xi =(x1,x2,…，xN)T，为N个一维样本，是从一维正态分布概率密度函数p(x|θi)总体中独立抽取的， θi =(θ1,θ2)T ，θ1=μ，θ2=σ2则： θi最大似然估计量 为下述方程的解 由上述方程组解得θ1=μ，θ2=σ2的最大似然估计量： 多维正态分布的最大似然估计 设Xi =(x1,x2,…，xN)T，为N个d维样本，是从d维正态分布概率密度函数p(x|θi)总体中独立抽取的， θi =(θ1,θ2)T ，θ1=μ，θ2=Σ则： θi最大似然估计量 为下述方程的解 由上述方程组解得θ1=μ，θ2=Σ的最大似然估计量： 结论： 正态总体均值的最大似然估计即为训练样本的算术平均 协方差的最大似然估计是N个矩阵的算术平均 最小风险率贝叶斯决策 设： 待识别样本： x =(x1,x2,…，xd)T 类别状态空间：Ω={w1，w2，…，wC} 决策空间：Α={a1, a2,…，aa} λ(ai,wj)表示样本x为类别wj而采取决策ai所造成损失 则，样本x采取决策ai造成的条件期望损失（条件风险）： 对特征空间Ed中的任意样本x采取决策ai造成的条件风险的期望： 使R最小的决策ak称为最小风险贝叶斯决策 贝叶斯估计 设第i类样本集Xi的样本共N个 Xi =(x1,x2,…，xN)T，是从概率密度为p(x |θi )总体中独立抽取的，θi为随机量，其先验分布p(θi)已知，试通过样本集Xi估计θi（找出估计量 ）使贝叶斯风险最小 与最大似然估计的区别 最大似然估计是把待估的参数看作固定的未知量 贝叶斯估计则是把待估的参数作为具有某种先验分布的随机变量 通过对第i类学习样本Xi的观察，使概率密度分布P(Xi|θ)转化为后验P(θ|Xi) ，再求贝叶斯估计 参数估计的贝叶斯风险计算 参照最小风险贝叶斯决策公式，参数估计的贝叶斯风险R： 根据贝叶斯公式： 为给定x条件下估计量的期望损失，即条件风险 贝叶斯估计的本质 使条件风险 极小的估计量