贝叶斯学习过程.ppt

* * * * * ML估计直接把估计值带入p（x | theta）即可，而贝叶斯估计要通过公式计算p（x | D） 越尖越接近ML估计 * Mu_0代表先验知识，\hat{mu}_n代表经验知识 贝叶斯估计的mu均值在二者之间，系数由sigma_0决定 sigma_0越大，表示先验知识的不确定性越大，则mu_n更接近经验知识\hat{mu}_n mu_n被看作mu，而方差增加了，因为对mu估计的不确定性增大了对x的不确定性 增量学习特点：学习过程随着观察数据的不断获得而不断进行，获得一个新的数据样本时，不需从头训练，只需根据当前样本对已有模型进行改进 “拖尾”表示theta的先验知识影响仍在 理论上，贝叶斯有更强的基础，但实践中，ml更加简便使用，而且效果类似 ML估计-高斯情况： 和 均未知 x为多元变量情况 参数向量 在 下的对数似然 的ML估计 数据集D的样本均值 估计的偏差 的ML估计是有偏估计，即对所有可能的大小为n的样本集进行协方差矩阵的ML估计，其数学期望并不等于实际的协方差矩阵 的无偏估计 由于 ML估计 为渐进无偏估计，即随着样本数n的增大， 趋近于C 数据集D的样本协方差矩阵 Part 2 贝叶斯估计 贝叶斯估计 给定 参数形式的概率密度函数 ，其中的未知参数表示为向量 有关 的先验概率密度 数据集 求解 参数向量 的后验概率密度 x的后验概率密度 贝叶斯估计 贝叶斯估计 最大似然估计 贝叶斯估计 为明确数据集D的作用，类似于ML估计，贝叶斯决策所需后验概率可重新写作 简化 贝叶斯估计 核心问题 已知一组训练样本D，这些样本都是从固定但未知的概率密度函数p(x)中独立抽取的，要求根据这些样本估计 基本思路 假设 为已知参数形式的概率密度 是 在D下的后验概率密度——通过贝叶斯估计得到的 如果 在某一个值 附近形成最显著的尖峰，则 贝叶斯估计 通过观察数据集D，将先验概率密度 转化为后验概率密度 ，并期望其在真实的 值处有一个尖峰 高斯情况：单变量， 未知， 已知 目标概率密度函数 未知，但是其分布 已知 已知， 可简化为 根据 选择某个具体的 值 高斯情况：单变量， 未知， 已知 应用贝叶斯规则计算 的后验概率 其中， 是一个依赖于样本集 的归一化系数，该系数不依赖于 假设 ，其中 和 均已知 高斯情况：单变量， 未知， 已知 也呈高斯分布 称为共轭先验（conjugate prior）， 称为复制密度（reproducing density） 计算 样本均值 高斯情况：单变量， 未知， 已知 观察结论 如果 当 时， 如果 退化情况： 如果 样本均值 和为1，说明 位于 和 的连线上 ML估计 当获得足够多的样本后， 和 的具体数值的精确假定变得无关紧要， 将收敛于样本均值 先验知识和经验数据各自的贡献取决于 和 的比值，这个比值称为决断因子（dogmatism） 高斯情况：单变量， 未知， 已知 观察结论 随着样本数n的递增， 单调递减，即新增的样本能够减少关于 的估计的不确定性。随着n的增大， 的波形变得越来越尖。 贝叶斯学习过程 高斯情况：单变量， 未知， 已知 观察结论 随着样本数n的递增， 单调递减，即新增的样本能够减少关于 的估计的不确定性。随着n的增大， 的波形变得越来越尖。 贝叶斯学习过程 高斯情况：单变量， 未知， 已知 类条件概率密度 高斯情况：单变量， 未知， 已知 类条件概率密度 的参数形式为 贝叶斯估计的结果为 对 估计的不确定性增加了x的不确定性（ ） ） 贝叶斯决策规则 高斯情况：多变量， 未知， 已知 假设 所以 已知 未知 高斯情况：多变量， 未知， 已知 类条件概率密度 一种较简单的理解视角 贝叶斯估计的一般过程 第一阶段 第二阶段 第一阶段 第二阶段 递归的贝叶斯学习 明确样本集中的样本个数 贝叶斯学