第8讲_最大似然估计和主成分学案.ppt

第8讲 最大似然估计和主成分分析 主要内容 最大似然估计 维数问题 主成分分析 贝叶斯方法的困难： 先验概率P wi 和类条件概率密度p x|wi 难以获取。 解决办法： 利用训练样本来估计问题中所涉及的先验概率和类条件密度函数。 类条件密度函数估计的难点： 1）很多情况下，已有的训练样本数总是显得太少； 2）当用于表示特征的向量维数较大时，就会产生严重的计算复杂度问题。 解决办法：如果事先知道参数个数，并且先验知识允许能够把条件概率密度进行参数化，问题的难度就可以显著地降低。 两个概念：有监督学习和无监督学习 8.1最大似然估计 8.1.1 基本原理 已知样本集D，其中每一个样本都是独立的根据已知形式的概率密度函数p x|θ 抽取得到的，要求使用这些样本，估计概率密度函数中的参数向量θ的值。 假设样本集D中有n个样本：x1, x2,…, xn。由于这些样本独立抽取，则下式成立： 定义对数似然函数l θ 8.1.2 高斯情况：μ未知 考虑一个训练样本点xk，有下面的式子成立： 8.1.2 高斯情况：μ和Σ均未知 考虑单变量的情况，对于单个训练样本的对数似然函数为： 当为多元高斯分布时 8.1.3估计的偏差 8.2 维数问题 问题包括50或100个特征 二进制 分类精度取决于维数和训练样本的数量 具有相同分布函数的两组多维向量情况 如果特征是独立的，则有: 最有用的特