第06章-概率推理重点.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 史忠植 高级人工智能 * 图约简算法－一般原理 基本观点 任何概率查询可以表示成网络的子网，推理的目的是把网络分解成几个子网 三个基本操作 拟转弧操作（Arc Reversal）－贝叶斯公式 孤寡点移出(Barren node removal)－求和公式 值节点归并(Merge with Value node)－期望最大化 * 史忠植 高级人工智能 * 约简算法－拟转弧操作 X1 X3 X2 X1 X3 X2 X1 X3 X2 X1 X3 X2 p(x1, x2, x3) = p(x3 | x1) p(x2 | x1) p(x1) p(x1, x2, x3) = p(x3 | x2, x1) p(x2) p( x1) p(x1, x2, x3) = p(x3 | x1) p(x2 , x1) = p(x3 | x1) p(x1 | x2) p( x2) p(x1, x2, x3) = p(x3, x2 | x1) p( x1) = p(x2 | x3, x1) p(x3 | x1) p( x1) * 史忠植 高级人工智能 * 约简算法－孤寡点移出 孤寡点－没有孩子的节点 * 史忠植 高级人工智能 * 约简算法－值节点归并 值节点－证据节点或赋值节点 * 史忠植 高级人工智能 * Polytree算法－介绍 该算法由Pearl 于1982年首次提出 基本观点 计算边界后验的消息传递机制 Lambda 算子：消息向上传向父亲 pi 算子：消息向下传向孩子 * 史忠植 高级人工智能 * Polytree算法－单连通网 定义： 在任何两个节点之间存在且仅存在一条路径（忽略方向） X Multiple parents and/or multiple children * 史忠植 高级人工智能 * 单连通网的表示 X 表示 m维随机向量; x 表示随机向量可能的取值 e 表示m维向量的一个取值 My|x 是条件概率p(y|x)的似然矩阵 p(y1|x1) p(y2|x1) . . . p(yn|x1) p(y1|x2) p(y2|x2) . . . p(yn|x2) . . . . . . . . . p(y1|xm) p(y2|xm) . . . p(yn|xm) y = x Bel (x) = p(x|e) 表示随机向量的后验； f(x) × g(x) 表示向量的叉积 f(x) ? g(x)表示向量的点积 是标准化常量 * 史忠植 高级人工智能 * 概率的双向传播 e+ e- X Y Z (e+) (x) (y) (y) (z) (e-) 每个节点向儿子节点发送 pi 消息 向父节点发送 lambda消息 Bel(Y) = p(y|e+, e-) = ? ?(y)T × ?(y) 其中 ?(y) = p(y|e+), 先验证据 ?(y) = p(e-|y), 似然证据 ?(y) = ?x p(y|x, e+) × p(x| e+) = ?x p(y|x) × ?(x) = ?(x) ? My|x ?(y) = ?z p(e-|y, z) × p(z| y) = ?z p(e-|z) × p(z| y) = ?z ?(z) × p(z| y) = Mz|y ? ?(z) * 史忠植 高级人工智能 * 传播算法 对每个节点引入证据时，产生: 沿着弧的方向传播一组 “p” 消息 逆着弧的方向传播一组 “l” 消息 对接收 “p” or “l” 消息的每个节点: 节点修正它的“p”或 “l”，并发送到网络中 使用修正的“p”或 “l” ，更改结点的信任函数 BEL T BEL(t) p(t) l(t) U BEL(t) p(t) l(t) X BEL(t) p(t) l(t) Y BEL(t) p(t) l(t) Z BEL(t) p(t)