第二章 贝叶斯决策 part3.pptVIP

贝叶斯决策理论 刘芳，戚玉涛 qi_yutao@163.com 正态分布的贝叶斯决策 正态分布 正态分布的判别函数 误差积分和误差概率 Bayesian置信网 正态分布的判别函数 最大后验概率决策 正态分布的判别函数 贝叶斯判别函数可以写成对数形式： 正态分布的判别函数 情况一：各类协方差阵相等，且各特征独立，方差相等 情况二：各类协方差阵相等 情况三：各类协方差阵不相等 任意的 情况一： 情况一：最小距离分类器 情况一：最小距离分类器 上述结果表示在二维特征空间里，如下图所示： 正态分布的判别函数 例：两类正态分布样本： 误差积分和误差概率 对两分类问题，错误分类可能以两种形式出现： 1、真实类别为第一类，而观测值落入第二类 2、真实类别为第二类，而观测值落入第一类 因此总的误差概率为： Bayesian置信网 有些情况下，随机变量的分布无法得到概率密度表达式，但是知道该随机变量和另外一个随机变量的关系。 Bayesian置信网（Belief Net）：利用特征之间的相互影响（因果关系）来进行决策。 Bayesian置信网 Bayesian置信网描述的一组变量所遵从的联合概率分布，它通过一组条件概率来指定一组条件独立性假设（有向无环图）。 实例的属性存在如下关系 一些属性之间是条件独立的 一些属性之间存在条件依赖（因果关系） Bayesian置信网可以看作是 一种图关系的学习器 一种表达因果关系的联合概率分布 Bayesian置信网 Bayesian Belief Net 也称为因果网 结构：有向无环图 顶点：特征变量 边：起点变量对终点变量的影响（条件概率） 条件独立 条件独立的定义： 纵向（如右图）：给定 ，变量 与变量 条件独立。 总结：如果 到 之间存在通路，给定 上比 更近的变量 ，则 与 在给定 条件下独立。 横向（如右图）：给定 ，变量 与变量 条件独立。 总结：如果 到 之间不存在通路，给定 的所有直接变量 ，则 与 在给定 条件下独立。 联合概率的计算 联合概率的计算： 联合概率的计算 更复杂的例子1 联合概率的计算 更复杂的例子2 条件概率的计算 条件概率计算： Bayesian置信网 确定性证据决策(朴素（Naive)Bayesian BN决策)： 已知一Bayesian BN包含变量 和 。 完整确定性证据：现给定某样本 ，要求预测最可能的 取值？ 求解后验概率： 采用MAP决策： Bayesian置信网 不完整确定性证据决策： 不完整确定性证据：现给定某样本 ，要求预测最可能的 取值？ 后验概率 采用MAP决策： Bayesian置信网 不确定性证据决策： 不确定性证据： 证据不是确定的值，而是某个概率分布等。 不确定性证据决策： 称为一个原子概率 例子求： 例子求： 求： 例子 例子求： 例子求： 继续前面的例子： 已知c=T, s=F, r=F, 求最大可能的w? 所以： 继续前面的例子： 已知c=T, 求最大可能的w? 所以： 父节点P 子节点C Pattern Recognition Lecture 2. Bayesian Decision Institute of Intelligent Information Processing, IIIP School of Electronic Engineering Key Lab. of Intelligent Perception and Image Understanding Xidian University Pattern Recognition Institute of Intelligent Information Processing, IIIP