模式识别6265698465.ppt

最小风险决策的计算 根据Bayes公式计算后验概率P(ωj|x) 根据后验概率及给定的损失矩阵，算出每个决策的条件风险R(αi|x) 按最小的条件风险进行决策。 * 最小风险决策 损失矩阵在某些特殊问题，存在简单的解析表达式。 实际问题中得到合适的损失矩阵不容易。 两类问题最小风险Bayes决策 用Bayes公式展开，最小风险Bayes决策得到： * 最小风险决策 Bayes最小风险决策例解 两类细胞识别问题：正常(ω1)和异常(ω2) 根据已有知识和经验，两类的先验概率为： 正常(ω1)： P(ω1)=0.9 异常(ω2)： P(ω2)=0.1 对某一样本观察值x，通过计算或查表得到： p(x|ω1)=0.2， p(x|ω2)=0.4 λ11=0， λ12=6， λ21=1， λ22=0 按最小风险决策如何对细胞x进行分类？ * 最小风险决策 Bayes最小风险决策例解（2） 后验概率： P(ω1|x) =0.818， P(ω2|x) =0.182 * 决策结果 最小风险决策 最小风险决策的一般性 基于最小错误率的Bayes决策可作为最小风险Bayes决策的一种特殊情形。 只需要定义损失为： * 最小风险决策 决策正确时，损失为0决策错误时，损失为1 2.5 正态分布的最小错误率Bayes决策 Bayes决策的三个前提： 类别数确定 各类的先验概率P(ωi)已知 各类的条件概率密度函数p(x|ωi)已知 Bayes决策中，类条件概率密度的选择要求： 模型合理性 计算可行性 最常用概率密度模型：正态分布 观测值通常是很多种因素共同作用的结果，根据中心极限定理，它们（近似）服从正态分布。 计算、分析最为简单的模型。 * 一元正态分布 一元正态分布及其两个重要参数： 均值（中心） 方差（分散度） * 正态分布Bayes决策 多元正态分布 观测向量x：实际应用中，可以同时观测多个值，用向量表示。多元正态分布： * 正态分布Bayes决策 多元正态分布的性质 参数μ和Σ完全决定分布 等概率密度轨迹为超椭球面 不相关性等价于独立性 边缘分布和条件分布的正态性 线性变换的正态性 线性组合的正态性 * 正态分布Bayes决策 参数μ和Σ完全决定分布 协方差矩阵是对称矩阵 多元正态分布由n+n(n+1)/2个参数所完全决定 * 正态分布 等概率密度轨迹为超椭球面 等概率密度轨迹为超椭球面 Mahalanobis距离 * 正态分布 不相关性等价于独立性 多元正态分布的任意两个分量互不相关，则它们一定独立 * 正态分布 不相关 独立 线性变换的正态性 多元正态随机向量x * 正态分布 对x进行线性变换得到多元正态随机向量y 线性组合的正态性 多元正态随机向量x * 正态分布 对x的分量进行线性组合得到随机标量y 正态分布的最小错误率Bayes决策 观测向量的类条件分布服从正态分布： * 判别函数的定义与计算： 正态分布Bayes决策 判别函数中与类别i无关的项，对于类别的决策没有影响，可以忽略 最小距离分类器与线性分类器 第一种特例： * 判别函数的简化计算： 正态分布Bayes决策 最小距离分类器 线性分类器 最小距离分类器与线性分类器 第二种特例： * 判别函数的简化计算： 正态分布Bayes决策 Mahalanobis距离 线性分类器 正态模型的Bayes决策面 两类问题正态模型的决策面： 决策面方程：g1(x)=g2(x) 两类的协方差矩阵相等，决策面是超平面。 两类的协方差矩阵不等，决策面是超二次曲面。 * 正态分布Bayes决策 正态模型的Bayes决策面 * 正态分布Bayes决策 正态分布下的几种决策面的形式 正态分布Bayes决策 正态分布的Bayes决策例解 两类的识别问题：医生要根据病人血液中白细胞的浓度来判断病人是否患血液病。 根据医学知识和以往的经验，医生知道： 患病的人，白细胞的浓度服从均值2000，标准差1000的正态分布；未患病的人，白细胞的浓度服从均值7000，标准差3000的正态分布； 一般人群中，患病的人数比例为0.5%。 一个人的白细胞浓度是3100，医生应该做出怎样的判断？ * 正态分布Bayes决策 正态分布的Bayes决策例解 数学表示：用ω表示“类别”这一随机变量，ω1表示患病， ω2表示正常；x表示“白细胞浓度”这个随机变量。 本例医生掌握的知识非常充分，他知道： 1) 类别的先验分布：P(ω1) = 0.5%P(ω2) = 99.5%先验分布：没有获得观测数据（病人白细胞浓度）之前类别的分布 * 正态分布Bayes决策 正态分布的Bayes决策例解 2) 观测数据白细胞浓度分别在两种情况下的类条件分布： P(x|ω1) ~ N(2000,1000