曲线拟合之概率回访.pdfVIP

曲线拟合之概率 回访 目录 回忆 贝叶斯估计 概率模型 我们离真正的贝叶斯估计有多远 回忆 我们之前在 曲线拟合的过程中采用 的是最小化误差函数 的方法来确定拟 合的系数 。拟合的多项式为： 误差函数为： 在那里，我们为了解决过度拟合问题还采用 了一种 叫做正则化的方法 。今天， 我们从概率 的角度来审视多项式曲线拟合问题 。通过概率角度，我们可以更深 入 的理解误差函数和正则化。 贝叶斯估计 曲线拟合的目的是对于给定输入估计输 出 。当然，我们有训练数据 ：对 于 ，对应的值是 。对于任意的新 的输入值 ， 贝叶斯估计 我们可以把对 的估计写成一个条件概率估计 。什么样的概率密度函数最合适 呢？正态分布最合适 即，对于给定 的输入 ，我们假设具有正态分布，均值 是 其 中是精度参数，等于的方差的导数，即 。 式的示意图如所示 。 图 式的示意图 从图 中可以看出蓝色 曲线就是假设的高斯分布。而精度值体现 了分布的 方差 。 现在我们用不同于 以往 的方法来求 。如果所有的训练数据都是从 中独立获得的，也就是说假设是独立同分布的。那么关于 分布的似然函数 是： 其 中