参数估计-最大似然估计 贝叶斯估计.pptVIP

* * * ML估计直接把估计值带入p（x | theta）即可，而贝叶斯估计要通过公式计算p（x | D） 越尖越接近ML估计 * Mu_0代表先验知识，\hat{mu}_n代表经验知识 贝叶斯估计的mu均值在二者之间，系数由sigma_0决定 sigma_0越大，表示先验知识的不确定性越大，则mu_n更接近经验知识\hat{mu}_n mu_n被看作mu，而方差增加了，因为对mu估计的不确定性增大了对x的不确定性 增量学习特点：学习过程随着观察数据的不断获得而不断进行，获得一个新的数据样本时，不需从头训练，只需根据当前样本对已有模型进行改进 “拖尾”表示theta的先验知识影响仍在 理论上，贝叶斯有更强的基础，但实践中，ml更加简便使用，而且效果类似 估计的偏差 的ML估计是有偏估计，即对所有可能的大小为n的样本集进行协方差矩阵的ML估计，其数学期望并不等于实际的协方差矩阵 的无偏估计 由于 ML估计 为渐进无偏估计，即随着样本数n的增大， 趋近于C 数据集D的样本协方差矩阵 Part 2 贝叶斯估计 贝叶斯估计 给定 参数形式的概率密度函数 ，其中的未知参数表示为向量 有关 的先验概率密度 数据集 求解 参数向量 的后验概率密度 x的后验概率密度 贝叶斯估计 贝叶斯估计 最大似然估计 贝叶斯估计 为明确数据集