统计学习基础学习课件第八章幻灯片.pptVIP

2、自助法形成的95%逐点置信带 小矩形的高度y表示训练数据在这个区间的概率,即训练数据在小区间的 密度 左图分量密度y的 极大似然拟合曲线。 假设我们通过极大似然拟合上面的20个数据，参数是： 似然函数的值随着迭代次数的增多而增加，最后收敛于一个常数，即最大似然数。 (用于解决某些很难极大似然的问题) 2、EM算法在一般情况下起作用的原因: 因为 从不同的角度，可以将EM过程看做联合极大化算法。考虑函数： 已经定义了贝叶斯模型，我们想抽取后验分布结果中参数的一个样本，以便进行关于参数的推理。 除简单模型外，这通常是一个困难的计算问题。本节，我们讨论后验抽样的马尔可夫链蒙特卡罗（Markov chain MonTe Carlo, MCMC)方法里的一种抽样方法：Gibbs抽样，它是一个MCMC过程，与EM算法有紧密的联系 1. Gibbs抽样基本思想： 2. Gibbs抽样法 3、Gibbs抽样方法的使用 解释： * * 第八章 模型推理和平均 本章主要内容： 1、全面阐述了极大似然方法和关于推理的贝叶 斯方法，讨论了自助法、极大似然法以及贝叶斯方法的联系； 2、具体介绍了简化某些极大似然的EM算法以及和贝叶斯方法有关的Gibbs抽样法； 3、一般性地介绍了模型平均和改进的一些相关技术，如委员会方法，装袋，堆栈，冲击等。 例、50个数据的散点图（N=50） (用于解释自助法与最小二乘法的联系） 用三个纽结的三次样条拟合这些数据，三个纽结位于X值的 四分位数上，三次样条使用三次B样条基函数线性展开。 三次B样条基函数： 所以总共有7个三次B样条基函数， 三次B样条基函数的线性展开式为： 1、最小二乘法拟合曲线及它的95%逐点置信带 由最小二乘法估计得： 如图： 如图， 从训练数据中有放回地抽取数据 形成自助法数据集Z*,，拟合一个三次B样条曲线 重复200次，得到200条三次B样条曲线,在每个x上的百分位数 形成95%逐点置信带：在每个x上的百分位数处找出第五个 （2.5%*200）最大和最小值。 如下图： B样条光滑的10个自助法重复试验 两种方法形成的95%置信带相似，此图端点略宽。在每点x处取自助法的均值 得到的曲线与最小二乘法得到的曲线基本相同。 重复200次，得到200条B样条光滑，绘出95%逐点置信带，与最小二乘估计 得到的置信带基本相似，随着自助法样本的数目趋于无穷大，则会恰好相同。 3 参数自助法估计 该分布的均值是最小二乘方估计值，标准差与最小二乘估计值的标准差相同， 所以随着自助法样本的数目趋于无穷大，则95%置信带会恰好相同。 最小二乘估计与参数自助法的置信带相近的原因： 2、基本概念 3、基本结论 1、基本思想： 4、先验分布为高斯分布的贝叶斯方法 证明： 证毕。