ProbabilityGraphicalModel学习.docx

Graphical Model概率图模型学习初学者欢迎加群429922461一起学习，一起进步。Chapter 1八成的努力可能只能换来两成的成功，哪怕就只剩一秒钟，也不放弃。一、通常的判别式和生成模型当观测的值和被观测现实事物维数比较低的情况下，通常的generative model and discriminative model可以很好的解决问题（常有的generative model和discriminative model有：见figure 1），但是实际中遇到的问题可能会非常的复杂，然后用通常的Generative model and discriminative model 的时候，其中涉及到的model参数可能会非常多，远远超过了普通的generative model and discriminative model能处理的范围。解决方法是将建立复杂问题model转换为建立一系列Local Model的问题，通常这些Local Model之间都是Conditional Independence。为了方便表示Model中随机变量的独立和依赖关系，所以有了Graphical Model，更为具体的说法就是Probability Graphical Model（PGM）。PGM可以从两种角度来理解，一种就是PGM表示了随机变量之间独立和依赖的关系。PGM可以用因子分解的方式表示，由于其使用的便利性，通常解决问题使用的是因子分解的方式。Regression modelClassification modelFigure 1 generative and discriminative model二、WHY PGM?上面已经有这么多的模型了，那么为啥还要有PGM了？通常资料中的解释是，为了使问题简单，更容易的解决问题，那么到底如何个简单法子了?，那么我给出一个例子，通过这个简单的例子就可以完全理解为什么PGM可以简单化问题。如有一个模型，其由Ａ，Ｂ，Ｃ，Ｄ四个随机变量组成，随机变量A自身独立，但是随机变量A影响随机变量B和随机变量C，B和C相互独立，但Ｂ和Ｃ联合影响随机变量Ｄ，Ａ和Ｄ条件独立。那么这个模型的联合概率分布可以表示为：P(A,B,C,D)，我们用概率公式对其分解表示为：(1.1)模型描述中所叙述的条件有：(1) 随机变量A自身独立，故有上式中Pr(A)不变；(2)但是随机变量A影响随机变量B和随机变量C，B和C相互独立，故有Pr(C|A,B)=Pr(C|A);(3)Ｂ和Ｃ联合影响随机变量Ｄ，Ａ和Ｄ条件独立，故有Pr(D|A,B,C)=Pr(D|B,C)故将上面化简带入得到模型联合概率分解的最终表达形式为：以上就是我们用单纯的概率建模考虑问题的过程，可以看见，如果想求模型的某些状态，需要根据给定的条件来化简公式，过程比较麻烦，然后容易出错，此外还不容易理解。上面这个例子还是只有四个随机变量的Model过程，如果问题的维数更高，更复杂，很可能就没法解决了。因此，为了解决这些困难，从而就有了用图解表示的模型，即我口中经常说的PGM(2014年后半年在学术中我说的最多的两个词语是一个是优化问题，一个就是PGM了，哈哈)。好了，我们把上面用自然或者数学语言描述的模型问题转换成用图的方式表示，因为这些随机变量前后之间有因果关系，因此用一个有向图来表示，如图Figure 2所示：Figure 2从Figure 2中的图中很清楚的表示了随机变量之间的相互独立（条件独立）和依赖的关系。下面我们从Figure 2描述的PGM中直接写出这个模型的联合概率的表达形式，写的规则是：If variables Xn is independent of all others, then we write Pr(Xn). Otherwise, We write Pr(Xn|Xpa[n]) where the parents Xpa[n] consist of the set of variables with arrows that point to Xn.则Figure 2中所描述PGM的联合概率直接写出来为如下形式： (1.2)从中我们也可以很好的看出来，PGM暗含着随机变量独立（或者条件独立）和依赖的关系。联合概率或者一些状态我们直接可以通过观察Graph来得到相应的关系，这要比通过单纯的概率公式推导更直观更为简单，所以这就是要PGM的原因，使问题更简单化，让我们有能力解决更为复杂的问题。如果随机变量A，B，C，D分别有10中取值可能，则P(A,B,C,D)总共有10*10*10*10=10000种可能，但是如果用因子分解的方式，总共有：10+100+100+1000=1210种可能，远远小于直接用联合概率表达的形式。Ch