贝叶斯决策理论讲课.ppt

【基于最小风险的贝叶斯决策】 算法步骤: 【基于最小风险的贝叶斯决策】 例题2: 【基于最小风险的贝叶斯决策】 【基于最小错误率的贝叶斯决策与最小风险的贝叶斯决策的关系】 定理：0-1风险 证明： 概率论基础知识 贝叶斯决策基础知识 基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 正态分布时的统计决策 贝叶斯分类器设计 小结 正态分布时的统计决策 【贝叶斯决策基础知识】 贝叶斯决策理论 先验概率： 后验概率： 类条件概率： 贝叶斯公式： 【两种贝叶斯决策】 最小错误率的贝叶斯准则： （1） （2） （3） 为似然比， 为似然比阈值。 其中， 最小风险贝叶斯决策规则: 【正态分布时的统计决策】 为什么要用正态分布函数？ 1. 物理上的合理性 对于许多实际的数据集，正态性假设是一种合理的近似。 2. 数学上比较简便 正态分布概率模型有很好的性质，有利于做数学分析。 【正态分布时的统计决策】 1. 单变量正态分布 单变量正态分布概率密度定义为 图 单变量正态分布 概率密度函数应满足下列关系式 【正态分布时的统计决策】 1. 单变量正态分布 图 单变量正态分布 2.多元正态分布 （1）多元正态分布的概率密度函数定义为 1. 参数对分布的决定性 2. 不相关性等价于独立性 3. 边缘分布和条件分布的正态性 4. 线性变换的正态性 5. 线性组合的正态性 （2）多元正态分布的概率密度函数性质 多元正态分布 贝叶斯分类器设计 【贝叶斯分类器设计】 贝叶斯分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。 （1）判别函数：用于表达决策规则的某些函数称为判别函数； （2）决策面：对于c类分类问题，按照决策规则可以把d维特征空间分成c个决策域，将划分决策域的边界面称为决策面。 概念 【贝叶斯分类器设计】 两类问题 1. 判别函数 （a） （b） （c） 基于最小错误率的判别函数： 【贝叶斯分类器设计】 2. 决策面方程 例如 【贝叶斯分类器设计】 3. 分类器设计 +1 w1 -1 w2 g 阈值 单元 x1 x2 xc 决策 图 2.7 两类分类器的构成 【贝叶斯分类器设计】 多类问题 1. 判别函数 【贝叶斯分类器设计】 2. 决策面方程 【贝叶斯分类器设计】 3. 分类器设计 g1 g2 gc 最大值 选择器 x1 x2 xc a(x) 决策 国家杰出青年科学基金答辩申请 * 第2章 贝叶斯决策理论 概率论基础知识 贝叶斯决策基础知识 基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 正态分布时的统计决策 贝叶斯分类器设计 小结 概率论基础知识 【概率论基础知识】 (1)离散随机变量 (2)数学期望 (3)二阶矩与方差 (4)成对离散随机变量 (5)统计独立性 (6)条件概率 (7)全概率 (8)贝叶斯公式 【概率论基础知识】 (1)离散随机变量 (2)数学期望 【概率论基础知识】 (3)二阶矩与方差 (4)成对离散随机变量 设x,y是离散随机变量 【概率论基础知识】 (5)统计独立性 （6）两个随机变量函数的数学期望 【概率论基础知识】 (7)条件概率 (8)全概率 (9)贝叶斯公式 概率论基础知识 贝叶斯决策基础知识 基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 贝叶斯分类器设计 正态分布时的统计决策 小结 贝叶斯决策基础知识 2.1 引言 数据获取 预处理 特征提取与选择 分类决策 分类器设计 信号空间 特征空间 【引言】 基本概念 模式分类：根据识别对象的观测值确定其类别 样本与样本空间表示： 类别与类别空间：c个类别（类别数已知） 【引言】 决策 把样本x分到哪一类最合理？解决该问题的理论基础之一是统计决策理论 决策：是从样本空间S，到决策空间Θ的一个映射，表示为  D: S -- Θ 【引言】 评价决策有多种标准，对于同一个问题，采用不同的标准会得到不同意义下“最优”的决策。 Bayes决策常用的准则： 最小错误率准则 最小风险准则 在限定一类错误率条件下使另一类错误率为最小的准则 最小最大决策准则 【贝叶斯决策基础知识】 贝叶斯决策理论 先验概率： 后验概率： 类条件概率： 贝叶斯公式： 概率论基础知识 贝叶斯决策基础知识 基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 贝叶斯分类器设计 正态分布时的统计决策 小结 基于最小错误率的贝叶斯决策 【基于最小错误率的贝叶斯决策】 最小错误率的贝叶斯准则： 概念：在模式分类问题中，人们