混高斯背景建模课件.pptVIP

混合高斯模型背景建模汇报人：2015/1/251

EM算法EM算法是一种迭代算法，用于含有隐含变量的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两步组成：E步,求期望（expection）；M步，求极大（maximization）。2015/1/25混合高斯模型背景建模2

EM算法算法引入n算法距离：（三硬币模型）假设有3枚硬币，分别记作A，B，C。这些硬币正面出现的概率分别是π，p和q。进行如下抛硬币实验：先抛硬币A，根据其结果选出硬币B或硬币C,正面选硬币B，反面选硬币C；抛选出的硬币，出现正面记作1，出现反面记作0；独立地重复n次实验（这里，n=10）,观测结果如下：1,1,0,1,0,0,1,0,1,1假设只能观测到抛硬币的结果，不能观测抛硬币的过程。问如何估计三枚硬币正面出现的概率，即三硬币模型参数。2015/1/25混合高斯模型背景建模3

EM算法解：三硬币模型可以写作(1)这里，随机变量y是观测变量，表示一次试验观测的结果是1或0；随机变量z是隐变量，表示未观测到的抛硬币A的结果；θ=(π,p,q)是模型参数。其中，y的数据可以观测，z的数据不可观测。将观测数据表示为，未观测数据表示为则观测数据的似然函数为(2)混合高斯模型背景建模2015/1/254

EM算法即(3)(4)考虑求模型参数θ=(π,p,q)的极大似然估计，即这个问题没有解析解，只有通过迭代的方法求解。EM算法就是可以用于求解这个问题的一种迭代算法。2015/1/25混合高斯模型背景建模5

EM算法算法推导n我们面对一个含有隐变量的概率模型，目标是极大化观测数据（不完全数据）Y关于参数θ的对数似然函数，即极大化(5)(5)中有未观测变量并有包含和（或积分）的对数，进行（求导）极大化比较困难。2015/1/25混合高斯模型背景建模6

EM算法EM算法通过逐步迭代近似极大化L(θ)。假设在第i次迭。我们希望新估计值θ能使L（θ）增，并逐步达到最大值。为此考虑两者的代后θ的估计值加，即差：利用Jensen不等式得到其下界：2015/1/257混合高斯模型背景建模

EM算法其中Jensen不等式：若f是凸函数，X是随机变量，那么，即X为常量时去等号。Jensen不等式应用于凹函数时，不等号取反。log函数为凹函数，Y为X的函数：Y=g(X),X为离散随机变量时，,k=1,2,3...，若绝对收敛，则，X对应Z，Pk对，g是Z到为EY，Elog(Y)为，当且仅当。这里Y对应的映射。那么。混合高斯模型背景建模2014/12/118

EM算法接着令(6)(7)则即函数是的一个下界，有式（6）可知，(8)因此任何可以使了增大的θ，也可以使L(θ)增大。为使L(θ)尽可能的增大，选择使达到极大，即(9)混合高斯模型背景建模2015/1/259

EM算法现求的表达式。省去对θ的极大化而言是常数的项，有(10)式(10)中的函数是EM算法的核心，称为Q函数，其含义完全数据的对数似然函数关于在给定观测数据Y和当前参数下对未观测数据Z的条件概率分布的期望，即混合高斯模型背景建模2015/1/2510

EM算法EM算法描述：输入：观测变量数据Y，隐变量数据Z，联合分布条件分布，；输出：模型参数θ。(1)选择参数的初值，开始迭代；(2)E步：记为第i次迭代参数θ的估计值，在第i+1次迭代的E步，计算(11)2015/1/2511混合高斯模型背景建模

EM算法M步：求使估计值极大化的θ，确定第i+1次迭代的参数（12）(4)重复第(2)步和第(3)步，直到收敛，迭代停止条件为：对较小的正数ε，若满足或则停止迭代。混合高斯模型背景建模2015/1/2512

混合高斯模型（定义）高斯混合模型是指具有如下形式的概率分布模型：(13)是高斯分布密度，其中，是系数，(14)称为第k个分模型。2015/1/2513混合高斯模型背景建模

混合高斯模型高斯混合模型参数估计的EM算法假设观测数据由高斯混合模型生成，其中，参数θ。1.明确隐变量，写出完全数据的对数似然函数。我们用EM算法估计高斯混合模型的可以设想观测数据选择第k个高斯分布分模型模型生成观测数据。这时观测数据，是这样产生的：首先依概率；然后依第k个分模型的概率，是已知的；反应观测数据来自第k个分模型的数据是未知的，以隐变量表示，其中k=1,2,..,K,其定义如下：混合高斯模型背景建模2015/1/2514

混合高斯模型（15）是0-1随机变量。有了观测数据以及未观测数据，那么完全数据是那么完全数据的的似然函数为：2015/1/2515混合高斯模型背景建模

混合高斯模型(16)式中，。2015/1/2516混合高斯模型背景建模

混合高斯模型那么，完全数据的对数似然函数为：2.EM算法