第11章概率图模型.PDFVIP

第 章 概率图模型 概率论只不过是把常识归纳为计算问题。 皮诶尔·西蒙·拉普拉斯 概率图模型（ ， ），简称图模型（ ， ），是指一种用图结构来描述多元随机变量之间条件独立关系 的概率模型，从而给研究高维空间中的概率模型带来了很大的便捷性。 对于一个 维随机向量X = [ ]T ，其联合概率为高维空间 1 2 中的分布，一般难以直接建模。假设每个变量为离散变量并有 个取值，在不 作任何独立假设条件下，则需要 1 个参数才能表示其概率分布。当 = 2 = 100 时，参数量约为1030 ，远远超出了目前计算机的存储能力。 一个有效减少参数量的方法是独立性假设。我们将 维随机向量的联合概 率分解为 个条件概率的乘积， (x) (X = x) = ( ) ( ) ( ) 1 2 1 1 1 = ∏ ( 1 1) =1 其中 表示变量 的取值。如果某些变量之间存在条件独立，其参数量就可 以大幅减少。 假设有四个二值变量 ，在不知道这几个变量依赖关系的情况 1 2 3 4 4 下，可以用一个联合概率表来记录每一种取值的概率 (X1:4)，共需要2 1 = 15 年 月 日 个参数。假设在已知1 时，2 和3 独立，即有 ( ) = ( ) 2 1 3 2 1 ( ) = ( ) 3 1 2 3 1 在已知2 和3 时，4 也和1 独立，即有 ( ) = ( ) 4 1 2 3 4 2 3 那么其联合概率 (x) 可以分解为 (x) = ( ) ( ) ( ) ( ) 1 2 1 3 1 2 4 1 2 3 = ( ) ( ) ( ) ( ) 1 2 1 3 1 4 2 3 是 个局部条件概率的乘积。如果分别用 个表格来记录这 个条件概率的话， 只需要1 + 2 + 2 + 4 = 9 个独立参数。 当概率模型中的变量数量比较多时，其条件依赖关系也比较复杂。我们可 以使用图结构的方式将概率模型可视化，以一种直观、简单的方式描述随机变 量之间的条件独立性的性质，并可以将一个复杂的联合概率模型分解为一些简 单条件概率模型的组合。图