模式识别第3章_概率密度函数的估计_参数估计.pptVIP

非监督参数估计 非监督参数估计 非监督 不同类别的样本有不同的概率密度函数 用每个类别自己的样本估计该类别的概率密度函数 每个样本属于那个类别是未知的 参数估计 概率密度函数的总体分布形式已知 某个或某些类别的参数未知 非监督参数估计 问题假设 样本来自类别数为c的各类中，但不知道每个样本究竟来自哪个类别 每类的先验概率P(wj ),j=1,…，c已知; 类条件概率密度的形式已知; 未知的仅是c个参数向量θ= θ1 ,θ 2…的值 非监督参数估计 例: 两类别正态分布情况下的非监督参数估计问题 已知: c=2 两个类别样本概率密度函数的形式是正态分布 即c1类的概率密度函数: 即c2类的概率密度函数: 非监督参数估计 例: 两类别正态分布情况下的非监督参数估计问题 已知: σ1和σ2已知 非监督参数估计问题: 利用训练样本估计μ1和μ2 。 难点:训练样本的类别未知 非监督参数估计 估计方法 最大似然估计 贝叶斯估计 贝叶斯学习 期望最大化（EM） 解决问题 带缺失数据或者隐藏参数的参数估计问题 基本思想 样本数据分为标记样本和未标记样本 按照统计的观点，对于每一个样本的产生，其背后都有一个模型，即样本生成模型。 样本生成模型的参数先由标记样本确定，再通过标记样本和利用当前模型判断标记的未标记样本共同调整。 期望最大化（EM） 算法步骤 初始参数估计，将未标记的样本按