第4章-参数估计统计决策法.pptVIP

Dr. Djamel Bouchaffra Applied Pattern Recognition CSE616 模式识别Pattern Classification 第四章: 参数估计统计决策法 参数估计 参数估计 原理 对于绝大多数的识别问题，类概率密度函数已知的条件并不成立，而通常只知类概率密度的函数形式，其参数未知。 参数估计法即是利用学习样本来估计类概率密度函数参数的方法。 参数估计 两种方法原理不同，但结果是一致的！ 参数估计 原理 最大似然估计法：将待估参数视为确定的未知量进行估计 Bayes估计法：将待估参数视为随机变量进行估计 最大似然估计法（ML） 已知条件 拥有一批已知类别的学习样本 ，并知第j类的类概率密度 的函数形式，参数未知。 问题 由学习样本 估计最佳参数。 最大似然估计法 解决方案 最大似然估计法 解决方案 最大似然估计法 设有6个学习样本如下图所示，样本分布满足正态分布，且方差已知，现需估计最佳的均值μ 可以看出， μ取A和B对似然函数 的影响 最大似然估计法 最大似然估计法 设有6个学习样本如下图所示，样本分布满足正态分布，且均值已知，现需估计最佳的方差 可以看出， 的变化对似然函数 的影响 最大似然估计法 如何寻求最优参数？ 最大似然估计法 最大似然估计法 解决方案 定义梯度算子▽为： 最大似然估计法 最大似然估计法 解决方案 即： 可得到r个关于参数θ的方程组，求解方程组，即可求得最佳估计值。 最大似然估计法 例一：设样本满足一维正态分布，现已知n个学习样本，试用最大似然估计法估计其均值μ和方差σ２。 　解：对于一维正态分布 　　　 　　　　待估参数为　　　　　　　　其中 　　 最大似然估计法 可记为: 则似然函数为： 最大似然估计法 令: 即: 最大似然估计法 得: 解得: 最大似然估计法 例二：设样本满足d维正态分布，其中协方差矩阵Σ已知，且已知n个学习样本，试用最大似然估计法估计均值向量μ。 最大似然估计法 解： 样本满足正态分布，则 似然函数 最大似然估计法 协方差矩阵已知，仅有一个待参数均值向量，即θ=μ 令 得： 最大似然估计法 　　　　　即： 　　　　　可得θ=μ的最佳估计值为： 　即最佳均值向量是n个学习样本的重心（算数平均）。 最大似然估计法 例三:设 为多维正态分布，现已知n个学习样本，试用最大似然估计法估计 和 。 解:与前述方法相同，即： 最大似然估计法 似然函数 令: 最大似然估计法 得: 最大似然估计法 基于最大似然估计法的分类器设计 确定样本类概率密度函数形式 确定待估参数 根据学习样本，用最大似然估计法估计概率密度函数的参数 估计样本先验概率 用Bayes方法设计分类器 Bayes估计 原理： 将待估参数视为具有某种先验分布的随机变量，通过学习样本的观察，将先验分布转换为后验概率，并以此来修正参数的估计值。 Bayes估计 实现过程 将待估参数 视为随机变量，并由先验知识得到粗略分布 Bayes估计 为已知函数形式的类概率密度， 待估，且知n个学习样本，记为 ，j为类别。 由Bayes公式有： 其中 为后验概率，表示在观察了n个学习样本 后对 的修正分布。 Bayes估计 Bayes估计 表示在参数为 的条件下，n个样本 出现的概率。 为待估随机参数的先验概率分布。 与 无关，可用系数 代替 即： Bayes估计 显然，由于n个学习样本是独立抽取的，则 可得： Bayes估计 合理的估计方法是：在修正的 分布 中，使 得 取值最大的 值 即是的最佳估计值。 Bayes估计