参数估计统计决策法.pptVIP

模式识别，第四章 * Bayes估计 为已知函数形式的类概率密度， 待估，且知n个学习样本，记为 ，j为类别。 由Bayes公式有： 其中 为的后验概率，表示在观察了n个学习样本 后对 的修正分布。 模式识别，第四章 * Bayes估计 则表示在参数为 的条件下，n个样本 出现的概率。 为待估随机参数的先验概率分布。 与 无关，可用系数 代替 即： 模式识别，第四章 * Bayes估计 显然，由于n个学习样本是独立抽取的，则 可得： 观察了n个样本后θ的修正分布 模式识别，第四章 * Bayes估计 合理的估计方法是：在修正的 分布 中，使 得 取值最大的 值 即是的最佳估计值。 模式识别，第四章 * Bayes估计 P(θ/X(j)) θ θ0 P(θ) θn 模式识别，第四章 * Bayes估计 例：已知类概率密度为一维正态分布，其中方差 已知，均值 参数待估。试用Bayes估计法估计均值 模式识别，第四章 * Bayes估计 解： 对一维正态分布 P(x/μ) x μ 模式识别，第四章 * Bayes估计 首先，将待估参数 μ 视为随机变量，并具有一定的初始分布。 假设其具有正态分布 ： 模式识别，第四章 * Bayes估计 P(μ) μ μ0 模式识别，第四章 * Bayes估计 观察了n个学习样本后，μ的后验概率(修正分布) 为： 模式识别，第四章 * Bayes估计 可见：修正后μ的分布仍为正态分布！其均值为μn，方差为σn2 其中： 模式识别，第四章 * Bayes估计 即： μn表示在观察了一组样本后，对μ的最好的推断，而σn2 则反映了这个推断的不确定性! 模式识别，第四章 * Bayes估计 P(μ/X(j)) μ μ0 P(μ) μn 模式识别，第四章 * Bayes估计 待估的最佳均值μ=？ 答案： μ = μn 模式识别，第四章 * Bayes估计 考虑样本数对估计值的影响 当 时, , Bayes估计与最大似然估计的结果相同! 模式识别，第四章 * Bayes估计 此时, 为δ函数。 即随着样本数的增加，μ的初始分布p(μ)对μ的估计影响越来越小 。 反映了对参数μ估计的不确定性，当 时， 模式识别，第四章 * Bayes估计 模式识别，第四章 模式识别Pattern Classification 第四章: 参数估计统计决策法 模式识别，第四章 * 参数估计 原理 对于绝大多数的识别问题，类概率密度函数已知的条件并不成立，而通常只知类概率密度的函数形式，其参数未知。 参数估计法即是利用学习样本来估计类概率密度参数的方法。 模式识别，第四章 * 参数估计 参数估计法 最大似然估计法 Bayes估计法 两种方法原理不同，但结果是一致的！ 模式识别，第四章 * 参数估计 原理 最大似然估计法：将待估参数视为确定的未知量进行估计 Bayes估计法：将待估参数视为随机变量进行估计 模式识别，第四章 * 最大似然估计法（ML） 已知条件 拥有一批已知类别的学习样本 ，并知第j类的类概率密度 的函数形式，参数未知。 问题 由学习样本 估计最佳参数。 模式识别，第四章 * 最大似然估计法 解决方案 模式识别，第四章 * 最大似然估计法 解决方案 模式识别，第四章 * 最大似然估计法 设有6个学习样本如下图所示，样本分布满足正态分布，且方差已知，现需估计最佳的均值μ 可以看出， μ取A和B对似然函数 的影响 由于μ取B是似然函数更大，参数B优于A P ( x / μ ) x A B μ=B μ=A 模式识别，第四章 * 最大似然估计法 P ( x