贝叶斯网bayesiannetworks.pdfVIP

贝叶斯网 （Bayesian Networks ） University of Science and Technology of China June 4, 2013 (USTC) 贝叶斯网 June 4, 2013 1 / 39 Outline 1 概率论基础 2 贝叶斯网基础 3 图分隔与变量独立 4 贝叶斯网推理 (USTC) 贝叶斯网 June 4, 2013 2 / 39 贝叶斯网概述 贝叶斯网 （Bayesian Networks ）是一种帮助人们将概率统计应用于 复杂领域、进行不确定性推理和数值分析的工具。 贝叶斯网是一种系统地描述随机变量之间关系的语言。 构造贝叶斯网的主要目的是进行概率推理，即计算一些事件发生的 概率。 联合概率太复杂 （随变量个数指数增长） 贝叶斯网把联合概率分解成一系列简单模块，从而降低难度 贝叶斯网是概率论与图论结合的产物，一方面用 图论的语言直观揭 示问题的结构，另一方面按概率论的原则对问题结构加 以利用 。 许多经典多元概率模型都是贝叶斯网的特例 ：隐马尔科夫模型、卡 尔曼滤波器等。 贝叶斯网学习：从数据出发获得贝叶斯网的过程。 (USTC) 贝叶斯网 June 4, 2013 3 / 39 Outline 1 概率论基础 2 贝叶斯网基础 3 图分隔与变量独立 4 贝叶斯网推理 (USTC) 贝叶斯网 June 4, 2013 4 / 39 样本空间和事件 随机试验：事先不能完全预知其结果的试验 抛掷骰子是一个随机试验 样本空间：随机试验的所有可能结果组成的集合，记为Ω 掷骰子的样本空间 Ω = {1, 2, 3, 4, 5, 6} 原子事件 （样本点）：样本空间中的点，即随机试验的可能结果， 记为 事件 ：样本空间的子集，记为A , B, . . . A = {1, 3, 5} 表示 “掷出结果为奇数”这一事件 Ω 本身为必然事件，∅ 为不可能事件 若两事件 A ∩ B = ∅，称为互斥事件 （不相容事件 ） 若两事件 A ∩ B = ∅ 且 A ∪ B = Ω，称为互补事件 (USTC) 贝叶斯网 June 4, 2013 5 / 39 概率 概率测度：给样本空间中的每一个事件 A 赋予一个数值 （概 率） P (A ) ∈ [0, 1] 概率测度 （形式化）是一个从样本空间 Ω 的幂集 2Ω 到区间 [0, 1] 的映射P : 2Ω → [0, 1] ，且满足 以下三个 Kolmogorov 公理： (1) P (Ω) = 1; （规范性） (2) P (A ) ≥ 0, ∀A ∈ 2Ω ; （非负性） (3) P (A ∪ B) = P (A ) + P (B), ∀A , B ∈ 2Ω , A ∩ B = ∅. （有限可加 性） P (A ) 称为事件 A 的概率 (USTC) 贝叶斯网 June 4, 2013 6 / 39 随机变量和概率函数 随机变量是定义在样本空间 Ω 上的函数，记为X , Y, Z 随机变量的取值随试验结果而定，记为x , y, z 随