蒙托卡罗方法课件.pptVIP

* 注：1）从这个意义上讲，蒙特卡罗方法可以部分代替物理实验，甚至可以得到物理实验难以得到的结果。用蒙特卡罗方法解决实际问题，可以直接从实际问题本身出发，而不从方程或数学表达式出发。它有直观、形象的特点。 2）在计算s维空间中的任一区域D上的积分时，无论区域D的形状多么特殊，只要能给出描述D的几何特征的条件，就可以从D中均匀产生N个点，得到积分的近似值。 3）由误差定义可知，在给定置信水平情况下，蒙特卡罗方法的收敛速度为O（sqrt(N))，与问题本身的维数无关。维数的变化，只引起抽样时间及估计量计算时间的变化，不影响误差。也就是说，使用蒙特卡罗方法时，抽取的子样总数N与维数s无关。维数的增加，除了增加相应的计算量外，不影响问题的误差。这一特点，决定了蒙特卡罗方法对多维问题的适应性。而一般数值方法，比如计算定积分时，计算时间随维数的幂次方而增加，而且，由于分点数与维数的幂次方成正比，需占用相当数量的计算机内存，这些都是一般数值方法计算高维积分时难以克服的问题。 4)对于一般计算方法，要给出计算结果与真值的误差并不是一件容易的事情，而蒙特卡罗方法则不然。根据蒙特卡罗方法的误差公式，可以在计算所求量的同时计算出误差。对干很复杂的蒙特卡罗方法计算问题，也是容易确定的。 缺点： 1)如前所述，蒙特卡罗方法的收敛速度为O（sqrt(N))，一般不容易得到精确度较高的近似结果。对于维数少（三维以下）的问题，不如其他方法好。 2)由于蒙特卡罗方法的误差是在一定置信水平下估计的，所以它的误差具有概率性，而不是一般意义下的误差。 * 注：合成法的理论依据见高惠璇，统计计算。 例2.1可看成Y~P{Y=i}=ai,在Y=i条件下，X~pi(x),由全概率公式易证，X~p(x) * * * e=exp(1) n=100 n0=0 for i=1:n x(i)=unifrnd(0,1) y(i)=unifrnd(0,e) if y(i)=exp(x(i)) n0=n0+1 end y2(i)=exp(x(i)) y3(i)=exp(x(i))*(1+x(i))^(-1) end sit1=n0*e/n sit2=sum(y2)/n sit3=3*sum(y3)/(2*n) * 注：采用逆变换法由同一均匀分布随机数产生X，Y的样本可提高X与Y的正相关性。 实验：for i=1:20 u(i)=unifrnd(0,1) x(i)=expinv(u(i)) y(i)=norminv(u(i)) end r=0.9351 * Ｚ相当于在Ｙ＝y1条件下，进行y1次试验，事件Ａ发生的次数；每次事件Ａ发生的条件概率为（1/2）／（p{Y=1}), ＥＭ算法的最大优点是简单和稳定。ＥＭ算法的主要目的是提供一个简单的迭代算法来计算后验众数。人们自然会问，如此建立的ＥＭ算法能否达到预期要求？就是说，由ＥＭ算法得到的估计序列是否收敛？如果收敛，其结果是否就是p(θ|y)的最大值或局部最大值？《高等数理统计》p432定理6.9,6.10给出了答案。 * 注：先验分布中的参数称为超参数，超参数仅对θ有影响，对y,z无直接影响。 * 注：第二个密度如何抽样？见下节 * 要使gibbs抽样能够用于实际，我们还必须知道什么时候抽样可以停止。这几乎没有简单而有效的方法，在实用中，通常可采取两种方法判断： 方法一：用GIBBS抽样同时产生多个Markov链，在经过一段时间后，如果这几条链稳定下来，则抽样收敛了； 方法二：看遍历均值是否已经收敛。即每隔一段时间计算一次参数的遍历均值，当这样算得得均值稳定后，可认为抽样收敛。 * 证明见茆诗松〈高等概率统计〉p455定理6.11 * Gibbs抽样是Metropolis-Hastings算法的特例。对应q=π * 实验：相关系数的MCMC估计 （步骤：1.产生相关系数已知的二维正态分布随机数x（i),y(i),i=1,...,n;--样本 2. 按例2.3.1的方法产生相关系数的随机数rho(i),i=1,...N 3.MC估计量为rhomc=sum(rho)/N 4.相关系数的矩估计为sum(x*y)/n rho0=0.8 x(1)=normrnd(0,1) y(1)=normrnd(rho0*x(1),1-rho0^2) xy(1)=x(1)*y(1) for i=1:19 x(i+1)=normrnd(rho0*y(i),1-rho0^2) y(i+1)=normrnd(rho0*x(i+1),1-rho0^2) xy(i+1)=x(i+1)*y(i+1) end rhom=sum(xy)/20 rho(1)=0.5 for i=1:19 rt=unifrnd(0,1) a=exp((x(i+1)^2-2*rt*x(i+