模式识别培训课程.pptVIP

Bayes最小风险决策例解 两类细胞识别问题：正常(ω1)和异常(ω2) 根据已有知识和经验，两类的先验概率为： 正常(ω1)： P(ω1)=0.9 异常(ω2)： P(ω2)=0.1 对某一样本观察值x，通过计算或查表得到： p(x|ω1)=0.2， p(x|ω2)=0.4 λ11=0， λ12=6， λ21=1， λ22=0 按最小风险决策如何对细胞x进行分类？ 最小风险决策 * 第二十九页，共五十三页。 Bayes最小风险决策例解（2） 后验概率： P(ω1|x) =0.818， P(ω2|x) =0.182 决策结果 最小风险决策 * 第三十页，共五十三页。 最小风险决策的一般性 基于最小错误率的Bayes决策可作为最小风险Bayes决策的一种特殊情形。 只需要定义损失为： 最小风险决策 决策正确时，损失为0决策错误时，损失为1 * 第三十一页，共五十三页。 2.5 正态分布的最小错误率Bayes决策 Bayes决策的三个前提： 类别数确定 各类的先验概率P(ωi)已知 各类的条件概率密度函数p(x|ωi)已知 Bayes决策中，类条件概率密度的选择要求： 模型合理性 计算可行性 最常用概率密度模型：正态分布 观测值通常是很多种因素共同作用的结果，根据中心极限定理，它们（近似）服从正态分布。 计算、分析最为简单的模型。 * 第三十二页，共五十三页。 一元正态分布 一元正态分布及其两个重要参数： 均值（中心） 方差（分散度） 正态分布Bayes决策 * 第三十三页，共五十三页。 多元正态分布 观测向量x：实际应用中，可以同时观测多个值，用向量表示。多元正态分布： 正态分布Bayes决策 * 第三十四页，共五十三页。 多元正态分布的性质 参数μ和Σ完全决定分布 等概率密度轨迹为超椭球面 不相关性等价于独立性 边缘分布和条件分布的正态性 线性变换的正态性 线性组合的正态性 正态分布Bayes决策 * 第三十五页，共五十三页。 参数μ和Σ完全决定分布 协方差矩阵是对称矩阵 多元正态分布由n+n(n+1)/2个参数所完全决定 正态分布 * 第三十六页，共五十三页。 等概率密度轨迹为超椭球面 等概率密度轨迹为超椭球面 Mahalanobis距离 正态分布 * 第三十七页，共五十三页。 不相关性等价于独立性 多元正态分布的任意两个分量互不相关，则它们一定独立 正态分布 不相关 独立 * 第三十八页，共五十三页。 线性变换的正态性 多元正态随机向量x 正态分布 对x进行线性变换得到多元正态随机向量y * 第三十九页，共五十三页。 线性组合的正态性 多元正态随机向量x 正态分布 对x的分量进行线性组合得到随机标量y * 第四十页，共五十三页。 * 第二章 贝叶斯决策理论 模式识别Pattern Recognition 第二章 贝叶斯决策理论 武汉大学国际软件学院 Email: 第一页，共五十三页。 Table of Contents 第二页，共五十三页。 2.1 引言 数据获取 预处理 特征提取与选择 分类决策 分类器设计 信号空间 特征空间 * 第三页，共五十三页。 基本概念 模式分类：根据识别对象的观测值确定其类别 样本与样本空间表示： 类别与类别空间：c个类别（类别数已知） 引言 * 第四页，共五十三页。 决策 把x分到哪一类最合理？理论基础之一是统计决策理论 决策：是从样本空间S，到决策空间Θ的一个映射，表示为  D: S -- Θ 引言 * 第五页，共五十三页。 决策准则 评价决策有多种标准，对于同一个问题，采用不同的标准会得到不同意义下“最优”的决策。 Bayes决策常用的准则： 最小错误率准则 最小风险准则 在限定一类错误率条件下使另一类错误率为最小的准则 最小最大决策准则 引言 * 第六页，共五十三页。 2.2 基于判别函数的分类器设计 判别函数 (discriminant function)：相应于每一类定义一个函数，得到一组判别函数：gi(x), i = 1, 2, …, c 决策区域与决策面(decision region/surface)： * 第七页，共五十三页。 判别函数 第八页，共五十三页。 决策规则(decision rule) 规则表达1 规则表达2 判别函数 * 第九页，共五十三页。 分类器设计 分类器是某种由硬件或软件组成的“机器”： 计算c个判别函数gi(x) 最大值选择 ARGMAX g1 . . . g2 gc . . . x1 x2 xn a(x) 判别函数 多类识别问题的Bayes最小错误率决策：gi(x) = P (ωi |x) * 第十页，共五十三页。 2.3 Bayes最小错误率决策 以两类分类问题为例：已知先验分布P