sum-product.ppt

* * * * * 因子图 因子图的定义： 将一个具有多变量的全局函数因子分解，得到几个局部函数的乘积，以此为基础得到的一个双向图叫做因子图（Factor Graph） 全局函数： 变量节点： 因子（函数）节点： * 因子图 全局函数分解式 因子图 * 因子图的构造 由贝叶斯网络构造因子图的方法： 一个因子对应因子图中的一个结点 贝叶斯网络中的每一个变量在因子图上对应边或者半边 结点g和边x相连当且仅当变量x出现在因子g中 * 从因子图到sum-product算法 全局函数 因子图 * 边缘分布 由联合概率分布求边缘概率分布 * 分配率 如果有 那么 试想： a*b + a*c：2次乘法，1次加法 a*(b + c)：1次乘法，1次加法 * Sum-product算法 * 提取公因子：即“分配率” * 使用“消息传递”的观点 * Sum-Product算法的两种消息 变量(Variable)到函数(Function)的消息 函数(Function)到变量(Variable)的消息 * box内部的消息传递 * Sum-Product算法 * Sum-Product举例 右图给定了一个图解模型， 性别影响了性行为、吸毒和吸烟，而性行为有一定概率得HIV，吸烟有一定概率得癌症 * Sum-Product举例 因子图的转换 联合概率 * Sum-Product举例 因子图的转换 对应的factor函数 * Sum-Product举例 * Sum-Product举例 图解模型的条件概率表 * Sum-Product举例 计算传播的消息 … * Sum-Product举例 * Sum-Product算法 从计算来看， Sum-Product算法是将计算需要的中间过程进行了保存。如果计算多个概率分布，往往更有效。 Sum-Product算法有点类似动态规划的思想：将一个概率分布写成两个因子的乘积，而这两个因子可以继续分解或者通过已知得到。 * 感谢大家！ 恳请大家批评指正！ 说说belief propagation吧。这是machine learning的泰斗J. Pearl的最重要的贡献。对于统计学来说，它最重要的意义就是在于提出了一种很有效的求解条件边缘概率(conditional marginal probability)的方法。说的有点晦涩了，其实所谓求解条件边缘概率，通俗地说，就是已知某些条件的情况下，推导另外某些事件发生的概率。 如果涉及的因素只有那么几个，一个学过概率论的大学生就可以使用简单的概率公式计算出来。可是，在现实世界中有成千上万的因素，它们相互联系，如果按照传统方法，就要对数以千计的变量进行积分。考虑到运算量对于变量个数以指数增长，因此这么做实际上根本没法算的。 * * 在概率理论及其应用中，Factor Graph (因子图)是图模型中的一种。其常用于贝叶斯推理，其使得能通过sum-product算法进行高效的边缘分布计算。因子图是超图的一种，超图中每个箭头（即因子节点）可以连接多于一个节点（正常情况下为一个节点），咱们来考虑一个问题：即如何由联合概率分布求边缘概率分布。 * 联合概率表示两个事件共同发生的概率。A与B的联合概率表示为或者。 边缘概率（又称先验概率）是某个事件发生的概率。边缘概率是这样得到的：在联合概率中，把最终结果中不需要的那些事件合并成其事件的全概率而消失（对离散随机变量用求和得全概率，对连续随机变量用积分得全概率）。这称为边缘化（marginalization）。A的边缘概率表示为P(A)，B的边缘概率表示为P(B) 对x3外的其它变量的概率求和，最终剩下x3的概率！ * * * * * * * 在概率理论及其应用中，Factor Graph (因子图)是图模型中的一种。其常用于贝叶斯推理，其使得能通过sum-product算法进行高效的边缘分布计算。因子图是超图的一种，超图中每个箭头（即因子节点）可以连接多于一个节点（正常情况下为一个节点），咱们来考虑一个问题：即如何由联合概率分布求边缘概率分布。 * 联合概率表示两个事件共同发生的概率。A与B的联合概率表示为或者。 边缘概率（又称先验概率）是某个事件发生的概率。边缘概率是这样得到的：在联合概率中，把最终结果中不需要的那些事件合并成其事件的全概率而消失（对离散随机变量用求和得全概率，对连续随机变量用积分得全概率）。这称为边缘化（marginalization）。A的边缘概率表示为P(A)，B的边缘概率表示为P(B) 对x3外的其它变量的概率求和，最终剩下x3的概率！ * * * * * * * * * *