贝叶斯决策理论教材.pptxVIP

第2章 贝叶斯决策理论Bayesian Decision Theory;模式识别是根据对象特征值将其分类。 d个特征组成特征向量x=[x1,···,xd]T，生成d 维特征空间，在特征空间一个 x 称为一个模式样本。 Bayes决策理论是用概率统计方法研究决策问题。 ⒈ 为什么可用Bayes决策理论分类？ ⑴样本的不确定性： ①样本从总体中抽取，特征值都是随机变量，在相同条件下重复观测取值不同，故x为随机向量。 ②特征选择的不完善引起的不确定性； ③测量中有随机噪声存在。 ;⑵另一方面从样本的可分性来看： 当各类模式特征之间有明显的可分性时，可用直线或曲线(面)设计分类器，有较好的效果。 当各类别之间出现混淆现象时，则分类困难。 这时需要采用统计方法，对模式样本的统计特性进行观测，分析属于哪一类的概率最大。此时要按照某种判据分类，如，分类错误发生的概率最小，或在最小风险下进行分类决策等。;贝叶斯决策理论;引言;引言;引言;引言;贝叶斯决策理论;Bayes决策准则;最小错误率准则;最小错误率准则;最小错误率准则;最小错误率准则;最小错误率准则;最小错误率准则;最小错误率准则;最小错误率准则;最小错误率准则;最小错误率准则;最小错误率准则;最小错误率准则;最小错误率准则;最小错误率准则;最小错误率准则;最小错误率准则;Bayes决策准则;最小风险准则;最小风险准则;最小风险准则;似然比公式;0-1 损失;最小风险准则;最小风险准则;最小风险准则;最小风险准则;Bayes决策准则;Neyman-Pearson准则;Neyman-Pearson准则;Neyman-Pearson准则;Neyman-Pearson准则;Neyman-Pearson准则;;Neyman-Pearson准则;Bayes决策准则;最小最大决策准则;最小最大决策准则;最小最大决策准则;;最小最大决策准则;最小最大决策准则;最小最大决策准则;最小最大决策准则;贝叶斯决策理论;概念描述;决策域：待识别的特征向量落在哪个决策域，该样本就被判为哪一类。 决策面：决策域的边界面。在数学上用解析形式表示成决策面方程。 判别函数：用于表达决策规则的某些函数。 判别函数和决策面方程是密切相关的，并且都是由相应的判决准则所确定的。;例：两类别问题按最小错误率做决策;分类器，判别函数，决策面;分类器，判别函数，决策面;示例;Note:;分类器，判别函数，决策面;分类器，判别函数，决策面;分类器，判别函数，决策面;分类器，判别函数，决策面;贝叶斯决策理论;正态分布的统计决策;正态分布的统计决策;正态分布的统计决策;多元正态分布的性质;多元正态分布的性质;多元正态分布的性质;多元正态分布的性质;正态分布的判别函数;正态分布的判别函数;情况一：;正交;当;情况一：最小距离分类器;情况一：最小距离分类器;各类的协方差矩阵相等，在几何上，相当于各类样本集中在以该类均值　为中心的同样大小和形状的超椭球内。;一个特例：当;一般地，决策函数;正交;当各类先验概率不相等时，　不在　　　的中点上，而是偏向先验概率较小的均值点。;时;情况三：任意的;——对应的决策面为超二次曲面。;甚至在方差不相等的一维高斯分布情况下，其判决区域也可以不连通！;情况三：各类协方差不同，决策面为为超二次曲面。;;正态分布的判别函数;令;求决策面方程为：