贝叶斯决策理论课件.pptVIP

2.3 分类器设计 决策边界的形式 一维点边界 二维线边界 第三十页，共七十一页。 2.3 分类器设计 分类器—软硬件机器 多类分类器的构成 第三十一页，共七十一页。 2.3 分类器设计 两类情况： 判别函数 决策规则 判别函数形式 决策面方程 第三十二页，共七十一页。 2.3 分类器设计 两类分类器的构成 第三十三页，共七十一页。 2.3 分类器设计 例：写出最小错误率和最小风险例题的判别函数和决策面方程。 （1）最小错误率例题，利用两类形式（2） 形式（2） 判别函数 决策面方程 第三十四页，共七十一页。 2.3 分类器设计 （2）针对最小风险例题 判别函数原形 代入数据 决策面方程 第三十五页，共七十一页。 2.4正态分布时的统计决策 前述 是抽象的，此处代以正态分布 为什么使用正态分布？ （1）物理上的合理性 样本点较多地分布在均值附近，远离均值点较少，可用正态分布近似。 （2）数学上比较简便 如表征模型的参数较少，抽取样本点方便。 第三十六页，共七十一页。 2.4正态分布时的统计决策 单变量正态分布 第三十七页，共七十一页。 2.4正态分布时的统计决策 多元正态分布 边缘分布 第三十八页，共七十一页。 2.4正态分布时的统计决策 d×1 1×d 对称阵，对角线元素为方差，非对角线为协方差 也叫相关矩，表示两个随机变量的相关程度 第三十九页，共七十一页。 2.4正态分布时的统计决策 多元正态分布的性质 （1） 决定了分布 共有d+d(d+1)/2个参数， （2）等密度点轨迹——超椭球面 等密度点为指数项为常数时所取得的点，即 x到u的马氏距离的平方，构成超椭球面 第四十页，共七十一页。 2.4正态分布时的统计决策 区域中心由均值向量决定，大小由协方差矩阵决定 椭圆的长短轴方向由∑特征向量方向确定，长度由 确定 为特征值， 为马氏距离的平方。 第四十一页，共七十一页。 2.4正态分布时的统计决策 多元正态分布的性质 （3）不相关等价于独立 不相关 独立 正态分布时，不相关等价于独立 推论：如果多元正态随机向量 的协方差矩阵 是对角阵 ，则x的分量是相互独立的正态分布随机变量。 第四十二页，共七十一页。 2.4正态分布时的统计决策 多元正态分布的性质 （4）多元正态分布的边缘分布和条件分布仍然是正态分布。 （5）线性变换的正态性 多元正态随机向量的线性变换仍为多元正态分布的随机向量。 可寻找线性变换A使 为对角阵，则y各分量独立，可提高识别效率。 第四十三页，共七十一页。 2.4正态分布时的统计决策 多元正态分布的性质 （6）线性组合的正态性 第四十四页，共七十一页。 2.4正态分布时的统计决策 多元正态概率模型下的最小错误率贝叶斯判别函数和决策面 对数单调递增 分类性能不变 去掉首项无关项 决策面方程 判别函数 第四十五页，共七十一页。 2.4正态分布时的统计决策 特殊情况讨论： 一、 消去负号不等号变向 最小距离分类器 第四十六页，共七十一页。 2.4正态分布时的统计决策 最小距离分类器为线性分类器 定义：判别函数为线性函数的分类器为线性分类器。 决策面方程 第四十七页，共七十一页。 2.4正态分布时的统计决策 最小距离分类器的缺点 基本思想：以均值点作为典型样本，用距离作为判别函数进行分类。 可以正确分类 不能正确分类 分类效果不好（1）未考虑样本服从什么概率分布 （2）只用了一个典型样本的信息 第四十八页，共七十一页。 2.4正态分布时的统计决策 当先验概率不等时的决策面 ∴第一种情况的决策面为超平面 决策面远离先验概率大的一方，移动距离由方程决定 第四十九页，共七十一页。 2.4正态分布时的统计决策 特殊情况讨论： 二、 向先验概率小的方向偏移 马氏距离的平方 ∴第二种情况的决策面为超平面 第五十页，共七十一页。 第2章 贝叶斯决策理论 常用决策规则 分类器设计 正态分布情况下的贝叶斯决策 实验内容 第一页，共七十一页。 2.1 引言 贝叶斯决策理论是统计模式识别的基本理论，其假设 （1）各类别总体的概率分布是已知的； （2）要决策分类的类别数是一定的。 贝叶斯决策理论研究了模式类的概率结构完全知道的理想情况。这种情况实际中极少出现，但提供了一个对比其它分类器的依据，即“最优”分类器。 第二页，共七十一页。 符号规定 分类类别数：c 类别状态： 特征空间维数：d d