EM算法在高斯混合模型中的应用.docVIP

EM算法在高斯混合模型中的应用 1.定义 对于一个随机信号生成器，假设他的模型参数为，我们能观测到的数据输出为X，不能观测到的数据输出为Y，且随机系统模型结构的概率密度函数为 （1） 能够观测到的一部分数据输出数据，模型的另一部分输出数据 未知,模型的参数也未知。EM算法就是要求我们从观测数据中估计出参数。 2.EM算法的描述 假设每一对随机系统的输出样本对于不同的n相互独立，这样当，x和y都已知的情况下，概率也已知。未观测的输出y的概率分布也属于待求参数。 根据独立性假设有： （2） 3.EM算法的基本思路 基本问题是求解下面的方程的解： （3） 由于X是确定量，Y是未知的，因此即使给定了，也无法求得的值，因此我们只能退一步求： （4） 其中 （5） 表示考虑了未知数据y的所有可能的取值Y后对求平均值。 最后根据log函数的单调性得到（4）的等效形式： （6） 对于(6)给出的最优化问题，考虑用下面的递推算法解决，即：先给定一个估值并计算，然后更新得到并且有