机器学习 —— 概率图模型(推理：团树算法).docVIP

在之前的消息传递算法中，谈到了聚类图模型的一些性质。其中就有消息不能形成闭环，否则会导致“假消息传到最后我自己都信了”。为了解决这种问题，引入了一种称为团树（clique tree)的数据结构，树模型没有图模型中的环，所以此模型要比图模型更健壮，更容易收敛。 1.团树模型 　　链模型是一种最简单的树模型，其结构如下图所示，假设信息从最左端传入则有以下式子。假设要对变量 CD 进行推断，则应该求 Belief(3) ?= deta 2-3 *deta 4-3 * phi(3).从这里可以看出，团树算法是一种精确推断算法。它和变量消除算法在理论推导上是等价的。 　　上面的例子只是一种非常简单的团树，团树的本质还是聚类图，只不过是一种特殊的聚类图。对于更一般的概率图，也可以生成团树图。其中，每个cluster都是变量消除诱导图中的一个最小map。2.团树模型的计算 　　从上面分析可知，团树模型本质上和变量消除算法还有说不清道不明的关系（团树模型也是精确推理模型）。但是这个算法的优势在于，它可以利用消息传递机制达到收敛。之前提过，聚类图模型中的收敛指的是消息不变。除此之外，聚类图的本质是一种数据结构，它可以储存很多中间计算结果。如果我们有很多变量 ABCDEF，那么我们想知道P(A)，则需要执行一次变量消除。如果要计算P(B)又要执行一次变量消除。如果中途得到了某个变量的观测，又会对算法全