第九章SAS和统计计算.pptVIP

* * * * * * * Metropolis-Hastings方法 一类比Gibbs抽样更早出现，也更一般化的MCMC方法是Metropolis-Hastings方法。 * * * * * * * * * * * * * * * OBS SEED1 SEED2 I X1 X2 ? 1 936674311 724196333 1 0.43617 0.33723 2 1393460745 1733883844 2 0.64888 0.80740 3 733112270 1200908019 3 0.34138 0.55922 4 917607517 674688435 4 0.42729 0.31418 5 928513130 1646762308 5 0.43237 0.76683 * 将 call ranuni(seed1,x1); 替换后可产生其它分布的随机数。 call ranbin(seed1,n,p,x1);二项分布 call ranexp(seed1,x1); 均值1的指数分布 call rangam(seed1,a,x1); a0,b=1的伽马分布 call rannor(seed1,x1);标准正态分布 call ranpoi(seed1,?,x1);泊松分布 call rantbl(seed1,p1,p2,…,pk,x1);离散分布 call rantri(seed1,h,x1);0?h?1,三角分布 call rancau(seed1,x1);柯西分布 * 在统计领域，主要有两大类计算问题：一类是极大似然估计的计算，另一类是Bayes计算。 从计算方法来看，极大似然估计的计算类似Bayes的后验众数的计算，因此这里主要讨论Bayes计算。 * 另一类算法总称为数据添加算法。它不是直接对复杂的后验分布进行极大化或进行模拟，而是在观测数据基础上加上一些“潜在数据”，从而简化计算，并完成一系列简单的极大化或模拟。 原理如下：设我们能观测到的数据是Y， ?关于Y的后验分布很复杂，难以直接进行各种统计计算。假定一些没有能观测到的潜在数据Z已知（如Y为某变量的截尾观测值，而Z为变量的真值），则可以得到一个关于?的添加后验分布 （形式很简单），利用 的简单性可进行各种统计计算，如极大化、抽样等，然后回过头来，再对Z的假定作检查和改进。如此进行，就将一个复杂的极大化或抽样问题转化为一系列简单的极大化或抽样。 * EM算法是一种迭代方法，它的每一次迭代由两步组成：E步（求期望）和M步（极大化）。 一般地，以 表示?的基于观测数据的后验密度函数，称为观测后验分布； 表示添加数据Z后得到的关于?的后验分布密度（添加后验分布）； 表示在给定?和观测数据Y下潜在数据Z 的条件分布密度； 目的是计算观测后验分布 的众数。 * * * * * 从初始值? =0.5开始，经四次迭代，EM算法收敛到后验众数0.6268。 * 其中 是因变量的观测值组成的向量。 假设数据出现丢失现象，即Y中的某些元素未观测到。 为Y中已观测到的数据组成的向量。即Y：完全数据，Z：不完全数据。 目的：在得到Z的情况下用极大似然准则估计回归函数 * 可以证明，在很宽的条件下，由EM算法产生的迭代序列 收敛到 的极值点，因此用EM算法可以求解 。 M步等价于求 ，使 * * * * * 参数 超参数 缺损数据 Markov chain Monto Carlo (MCMC方法) * (MCMC主要用于多变量非标准形式，且各变量间相互不独立时分布的模拟) * * * * * * * * （3）若对某个m，认为此时的分布已是平稳分布，则对比m大很多的n， * Gibbs抽样 最简单、应用最广泛的MCMC方法是Gibbs抽样。 转移核的构造 * 具体步骤如下： * * * * * 第九章 SAS