参数模型与贝叶斯方法.ppt

参数模型与贝叶斯方法 1. 极大似然与广义线性模型 1.1 计算MLE的数值方法 似然函数对 求最大时，需要限制为半正定，使用Cholesky分解 1.2 广义线性模型 正态分布族 Poisson分布族 logistic模型 probit模型 广义线性模型的似然函数及迭代再加权最小二乘 2.非线性回归模型 部分线性模型 可转化为线性的模型 2.1 高斯-牛顿算法 计算最小点，选取 作为初值，在第j个迭代步中，得到 用上式来近似 ，最初的非线性模型可以由下面的线性回归模型来近似 上式中θ的OLS估计值 的显示表示为 矩阵求逆 步长因子 收敛性准则 1参数增量相对与参数值足够小 2 足够小 3 几乎正交于 在 处的切平面 这个准则的要求为 下式足够小 Levenberg-Marquardt修正 2.2 统计推断 令 表示非线性回归模型中 的估计，用 表示 的真值，我们假设X非随机，那么由下式 在假设 下，其中 我们得到 2.3 实现和实例 应用非线性最小二乘估计来估计Hull-White利率模型中收益率的波动率 其中期限为τ(年)的收益率的方差由下式给出 其中κ和σ是模型的参数 3 贝叶斯推断 3.1 先验分布和后验分布 （1） 先验分布 定义1 将总体中的未知参数θ∈Θ看成一取值于Θ的随机变量，它有一概率分布，记为π(θ)，称为参数θ的先验分布。 （2） 后验分布 在贝叶斯统计学中，把以上的三种信息归纳起来的最好形式是在总体分布基础上获得的样本X1，…，Xn，和参数的联合密度函数： 在这个联合密度函数中，当样本 给定之后，未知的仅是参数θ了，我们关心的是样本给定后，θ的条件密度函数，依据密度的计算公式，容易获得这个条件密度函数： 这就是贝叶斯公式的密度函数形式，其中 称为θ的后验密度函数，或后验分布。 3.2 贝叶斯方法 贝叶斯方法是在给定数据下最小化基于θ的后验分布的某个函数。 统计决策问题，必须具备几个要素： 1 参数空间 以及一个分布族 2 从分布 抽取的样本数据 ，其中θ表示参数真值， 称作“样本空间” 3 决策空间 包含所有可供选择的行为 4 损失函数 表示当真值θ为参数值，选择行为ɑ导致的损失 风险函数 贝叶斯风险 贝叶斯准则，即最小化贝叶斯风险： 那么上式可以写成 3.3 多元正态均值和协方差阵的贝叶斯估计 令 为多维正态分布 的n个独立同分布的观测。用 表示样本均值向量。 ∑已知时μ的贝叶斯估计 假设μ的先验分布为 ，后验分布是一个正态分布，均值为 协方差阵为 逆转Wishart分布 进一步有 的贝叶斯估计 使用下面的分布作为 的先验分布： 上式也是一个共轭分布族，因为给定X分量下， 的后验分布为 μ和∑的贝叶斯估计，即其后验均值为 和 3.4 高斯回归模型中的贝叶斯估计 令 ，我们可以假设 的先验分布为 那么给定（X，Y）下， 的后验分布也有相同形式： 因此，β的贝叶斯估计仍然是 ， 的贝叶斯估计为 4 压缩估计和贝叶斯估