mh采样算法推导-【综述】马尔可夫链蒙特卡洛采样（MCMC）.pdfVIP

mh采样算法推导_ 【综述】马尔可夫链蒙特卡洛采样 （MCMC） 1. 前前⾔⾔ 1.1. 采采样样 的的⽤⽤途途 概率推断在⼈ 智能领域中⼴泛运⽤于不确定性的推理与经验学习，然⽽，实⽤的概率模型通常是⾮常复杂且维度很⾼的，进⾏精确的概率 推断时常常会带来很⾼的计算代价。 采样⽅法就是⼀种⾼效的近似推断⽅法。假设我们要求f (x)对p(x)的期望，如式(1)所⽰，⼀种简单的⽅法就是，先得到从p(x)中采样的样本 点，然后进⾏求平均，那么就得到了期望的近似估计，当采样点⾜够多时，结果会⽆限的接近真实的期望，如式(2)所⽰。 (1) (2) 但是这样做的问题在于，我们通常不知道p(x)的形式，因为通常概率都被写为了配分函数的形式，⽽且常常没有归⼀化，不过未归⼀化的概 率值是很容易求得的；另外，待采样的分布的维度通常很⾼，⼀些简单的采样⽅法在扩展到⾼维度时常常会遇到很多问题。 对于采样问题，我们⼀般的想法是从⼀个容易采样的分布中采样，然后通过⼀些⼿段转化为 ⽬标分布的样本点。 2. 马马尔尔可可夫夫链链蒙蒙特特卡卡洛洛 2.1. Metropolis-Hasting算算法法 马尔可夫链蒙特卡洛⽅法借⽤了马尔可夫链的性质，即每⼀个状态只与其上⼀个状态有关，与其他状态⽆关。给定⼀个初始状态，确定转移 概率，就可以确定⼀条马尔可夫链。为了保证能够从我们的⽬标分布中采样，我们希望转移概率能够满⾜式(3)(Fixed point equation)，这 样我们的样本点经过转移之后得到的新的样本点就还是落在 ⽬标分布上，也就达到了我们的⽬的。 (3) 但是在实践中上式⼀般不易满⾜，⼀般是通过保证(4)式来使(3)式满⾜，也即保证detailed balance，把(4)式两边求和就可得到(3)式，过 程见(5)式。 (4) (5) 满⾜detailed balance最简单的⽅法是为两边同时乘以⼀个接受率得到新的转移核。 (6) 假设我们找的转移核不满⾜细致平衡条件，让式(4)两边同时乘以式(6)中的接受率，新的式⼦就能保证满⾜细致平衡条件了。图⼀展⽰了推 导过程 ： 图图⼀⼀ 构造容易采样的提议分布，并从中采取样本点，通过上述接受率决定是否接受，这样的采样⽅法被称为Metropolis-Hasting （MH）算法。 2.2. Gibbs sampling Method 吉布斯采样⽅法是MH算法的⼀种具体的形式。算法过程如图⼆所⽰ ： 图图⼆⼆ 每次只采样本点的⼀个维度，把剩余的其他维度的值作为条件，采出某⼀个维度的值后，在随后的其他维度的采样中直接利⽤刚刚采出的新 值。相⽐之下，MH算法是每⼀次把上⼀个点作为条件来采出新点，所有维度同时进⾏。 吉布斯采样算法的好处在于其操作相对来说⽐较简单，⽽且吉布斯采样的接受率是⼀。把吉布斯采样的条件分布放⼊接受率的表达式中，利 ⽤ 技巧，可以发现 接受率右侧表达式分⼦分母相等，接受率恒为⼀。 2.3. Hamiltonian Monte Carlo Method 汉密尔顿蒙特卡洛 （HMC）采样是⼀种动⼒学采样⽅法，也是现如今最通⽤的采样⽅法。在MH算法与吉布斯采样⽅法中，下⼀个样本点与 当前样本点之间的相关性都不可避免会很强，因为当前样本点是下⼀个样本点的条件。这样的采样路径是随机游⾛的，对 ⽬标分布的探索效 率⽐较低下。 HMC通过引⼊辅助的动量变量，把待采样的变量作为位置变量，把⼆者纳⼊⼀个势能与动能守恒的动⼒学系统，通过采样点在动⼒学系统 中随机的游⾛来得到两个变量的联合的采样点，舍去辅助变量，剩下的就是待采样的位置变量了。在探索⽬标分布时，位置变量的变化与能 量的梯度 （动量的⼤⼩）有关，这样的采样过程使得位置变量的变化可以更有针对性，⽽不是效率低下的随机游⾛。 ⾸先，定义⼀个能量守恒的动⼒学系统 ： (7) 其中H代表总能，U、K分别代表势能与动能，势能就是我们所要采的分布，动能⼀般设为⾼斯分布。 为了模拟动⼒学系统，采取离散化的⽅法，让动量半步更新，位置⼀步更新，具体如式(8- 10)所⽰ ： (8) (9) (10) 换成能量的形式： 图图三三 这样的离散化步骤也被称为leap frog，⼀般的HMC算法交替地进⾏着⼀系列的离散化步骤之后，对动量进⾏⼀个随机的更新，然后进⾏下 ⼀轮的离散化步骤。 观察图三中的离散化步骤，如果我们倒着执⾏这些步骤，其实可以从采样得到的下⼀个点重新回到上⼀个点，也就是说这样的采样转移核是