第3章 最大似然估计 贝叶斯参数估计 - 中山大学课件.pptVIP

第三章:最大似然估计 贝叶斯参数估计;介绍 贝叶斯框架下的数据收集 在以下条件下我们可以设计一个可选择的分类器 : P(?i) (先验) P(x | ?i) (类条件密度) 不幸的是，我们极少能够完整的得到这些信息! 从一个传统的样本中设计一个分类器 先验估计不成问题 样本对于类条件密度估计太小了 (特征空间维数太大了!) ;这个问题的一个先验信息 P(x | ?i)的正态性 P(x | ?i) ~ N( ?i, ?i) 用两个参数标示 估计 最大似然估计 (ML) 和贝叶斯估计 结果近似于独立, 但是方法是不同的;最大似然估计中的参数是固定的但是未知! 通过最大化所观察的样本概率得到最优的参数 贝叶斯方法把参数当成服从已知分布的随机变量 在这两种方法中，我们用P(?i | x)表示分类规则! ;最大似然估计 当样本数目增加时，收敛性质会更好 比其他可选择的技术更加简单 一般的原理  假设有c类并且 P(x | ?j) ~ N( ?j, ?j) P(x | ?j) ? P (x | ?j, ?j) 当: ;2;最优估计 令? = (?1, ?2, …, ?p)t 并令 ?? 为梯度算子 the gradient operator 我们定义 l(?) 为对数似然方程 l(?) = ln P(D | ?) 新问题陈述: 定义 ? 为使对数似然最大的值 ;最优值所需要满足的条件如下: ; 特殊情况的例子: 未知 ?  P(xi | ?) ~ N(?, ?) (样本从一组多变量正态分布中提取) ? = ?，因此: ?的最大似然估计必须满足: ;乘 ? 并且重新排序, 我们得到: 即训练样本的算术平均值! 结论: 如果P(xk | ?j) (j = 1, 2, …, c)被假定为d维特征空间中的高斯分布; 然后我们能够估计向量 ? = (?1, ?2, …, ?c)t 从而得到最优分类!;最大似然估计: 高斯例子: 未知 ? 和 ? ? = (?1, ?2) = (?, ?2) ;最后得到: 合并 (1) 和 (2), 得到如下方程: ;偏差 ?2的最大似然估计是有偏的 ?的一个基本的无偏估计是:  ;附录: ML 问题陈述 令 D = {x1, x2, …, xn} P(x1,…, xn | ?) = ?1,nP(xk | ?); |D| = n 我们的目标是终结 (?的值使得这个样本变得最有代表性!) ;|D| = n; 问题:找到 ? = (?1, ?2, …, ?c) 使得: ;贝叶斯估计 (模式分类问题的贝叶斯) 在最大似然估计中 ? 被假定为固定值 在贝叶斯估计中 ? 是随机变量 后验概率 P(?i | x)的计算取决于贝叶斯分类的中心 目标: 计算 P(?i | x, D) 假设样本为D，贝叶斯方程可以写成 ：;为了证明以上方程, 使用: ;贝叶斯参数估计: 高斯过程 目标: 使用后验密度P(? | D) 估计 ? 普遍情况: P(? | D) ? 是唯一未知参数 (?0 与 ?0 未知!); 复制密度 将 (1) 与 (2)相加得到: ;4;一种普遍的情况 P(x | D) 计算得到P(? | D) P(x | D) 仍然需要计算得到! 由此可得: (期望得到的分类条件密度P(x | Dj, ?j)) 因此: 已知P(x | Dj, ?j) 和 P(?j) 使用贝叶斯公式，我们得到贝叶斯分类准则:;贝叶斯参数估计：一般规则 P(x | D) 的计算可应用于所有能参数化未知密度的情况中，基本假设如下: 假定 P(x | ?) 的形式未知，但是?的值并不明确知道 ?被假定为满足一个已知的先验密度 P(?) 除此以外， ? 包含在集合D中，其中D是由n维随机变量x1, x2, …, xn 表示的P(x)组成的集合 ;基本的问题是: “计算先验密度P(? | D)” 然后 “推导出 P(x | D)” 使用贝叶斯方程，我们得到: 然后由独立性假设：; 维数问题 问题包括50或100个特征 (二进制) 分类精度取决于维数和训练样本的数量 有相同系数的两组多维向量情况;如果特征是独立的，则有: 最有用的特征是均值差与标准方差严重相关 在实际观察中我们发现，考虑较多的特征会导致更糟糕的结果而不是好的结果: 我们的模型有误 ;7; 计算的复杂性 我们设计的方法受到计算难度的影响 “big oh” notation f(x) = O(h(x)) “big oh of h(x)” 如果: (An upper bound on f(x) grow