第五章参数估计与非参数估计教材课程.ppt

第五章 参数估计与非参数估计;§5-1 参数估计与监督学习 贝叶斯分类器中只要知道先验概率，条件概率或后验概 概率 P(ωi),P(x/ωi), P(ωi /x)就可以设计分类器了。现在 来研究如何用已知训练样本的信息去估计P(ωi),P(x/ωi), P(ωi /x) 一．参数估计与非参数估计 参数估计：先假定研究的问题具有某种数学模型，如 正态分布，二项分布，再用已知类别的学习 样本估计里面的参数。 非参数估计：不假定数学模型，直接用已知类别的学习 样本的先验知识直接???计数学模型。 ;二．监督学习与无监督学习 监督学习：在已知类别样本指导下的学习和训练， 参数估计和非参数估计都属于监督学习。 无监督学习：不知道样本类别，只知道样本的某些 信息去估计，如：聚类分析。;§5-2参数估计理论 一．最大似然估计 假定： ①待估参数θ是确定的未知量 ②按类别把样本分成M类X1，X2，X3，… XM 其中第i类的样本共N个 Xi = (X1,X2,… XN)T 并且是独立从总体中抽取的 ③ Xi中的样本不包含 (i≠j)的信息，所以可以对每一 类样本独立进行处理。 ④ 第i类的待估参数 根据以上四条假定，我们下边就可以只利用第i类学习样 本来估计第i类的概率密度，其它类的概率密度由其它类 的学习样本来估计。;对θi求导,并令它为0： 有时上式是多解的, 上图有5个解,只有一个解最大即. ; 2. 多维正态分布情况 ① ∑已知, μ未知,估计μ 服从正态分布 所以在正态分布时 ; 所以 这说明未知均值的最大似然估计正好是训练样本的算术 平均。 ;② ∑， μ均未知 A. 一维情况：n=1对于每个学习样本只有一个特征的简单情况： (n=1)由上式得 即学习样本的算术平均 样本方差;讨论： 1.正态总体均值的最大似然估计即为学习样本的算术平均 2.正态总体方差的最大似然估计与样本的方差不同，当N较大的时候，二者的差别不大。 B．多维情况：n个特征（学生可以自行推出下式） 估计值： 结论：①μ的估计即为学习样本的算术平均 ②估计的协方差矩阵是矩阵 的算术 平均（nⅹn阵列， nⅹn个值） ;二.贝叶斯估计 最大似然估计是把待估的参数看作固定的未知量，而贝叶斯 估计则是把待估的参数作为具有某种先验分布的随机变量，通 过对第i类学习样本Xi的观察，使概率密度分布P(Xi/θ)转化为 后验概率P(θ/Xi) ，再求贝叶斯估计。 估计步骤: ① 确定θ的先验分布P(θ),待估参数为随机变量。 ② 用第i类样本xi=(x1, x2,…. xN)T求出样本的联合概率密度分布P(xi|θ)，它是θ的函数。 ③?利用贝叶斯公式,求θ的后验概率 ? ④ ;下面以正态分布的均值估计为例说明贝叶斯估计的过程 一维正态分布:已知σ2,估计μ 假设概率密度服从正态分布 P(X|μ)=N(μ,σ2), P(μ)=N(μ0,σ02) 第i类学习样本xi=(x1, x2,…. xN)T, i=1,2,…M 第i类概率密度P(x|μi,xi)=P(x|xi) 所以后验概率