模式识别导论四.ppt

模式识别Pattern Recognition 张正道 江南大学通信与控制工程学院 信息安全系 第四章 贝叶斯决策理论 贝叶斯分类器 最小风险Bayes分类器 聂曼－皮尔逊判别准则 最大最小判别准则 正态分布决策理论 关于分类的错误率分析 概率密度函数的参数估计 概率密度函数的非参数估计 4-1 引言 应用要求： 各类别总体的的概率分布已知 要决策分类的类别数一定 假设样本有d个观测量(特征) X= (x1, x2,…, xd)T 称：X为d维特征向量，其所有可能的取值构成d维特征空间。 假设要求：要研究的分类问题有C个类，分别由 表示。各类 出现的先验概率 以及类条件概率密度函数 已知。 4-2 Bayes决策 一、基于最小错误率的Bayes决策 1、两类问题 例如：细胞识别问题：ω1正常细胞，ω2异常细胞 某地区，经大量统计获先验概率P(ω1),P(ω2)。若 取该地区某人细胞x属何种细胞 ，只能由先验概率决定。 3）一般错误率分析： 二、最小风险Bayes分类器 假定要判断某人是正常(ω1)还是肺病患者(ω2),于是在判断中可能出现以下情况： 第一类，判对(正常→正常) λ11 ； 第二类，判错(正常→肺病) λ21 ； 第三类，判对(肺病→肺病) λ22； 第四类，判错(肺病→正常) λ12 。 在判断时，除了能做出“是” ωi类或“不是” ωi类的动作以外，还可以做出“拒识”的动作。为了更好地研究最小风险分类器，我们先说明几个概念： 假定有c类问题，用 表示类型，用 表示可能作出的判决。实际应用中，判决数a和类型数c可能相等，a＝c；也可能不等，即允许除c类的c个决策之外，可以采用其它决策，如“拒绝”决策，此时a＝c+1。 二类问题：把x归于ω1时风险： 把x归于ω2时风险： 4-3聂曼-皮尔逊决策(neyman-pearson) 例：两类的模式分布为二维正态分布： 协方差矩阵为单位矩阵∑1=∑2=I，设ε2＝0.09求聂曼皮尔逊准则T. 解： 4-4 最大最小判别准则 前边的讨论都是假定先验概率不变，现在讨论在P(ωi)变化时如何使最大可能风险最小。 在实际应用中，有时分类器处理的各种类型样本的“先验概率是变化的”，此时再按照某个固定的条件下的决策规则来进行决策，就得不到最小错误率或最小风险所需要得出的结果。这时就要用“最小最大判决规则”了。 最小风险判决规则中条件平均风险的计算公式： 先验概率P(ω1)与风险R间的变化关系如下： 从上图可以看出，从正态分布总体中抽取的样本大部分落在由μ与∑所确定的一个区域里，这个区域的中心由均值向量μ决定，区域的大小由协方差矩阵∑决定。 令： 式中γ称为x到μ的马氏距离。所以，等密度点轨迹是x 到μ的马氏距离γ为常数的超椭球面。该超椭球面构成的球体的大小是样本对于均值向量的“离散度度量”。 判别函数： 4-6 关于分类器的错误率分析 1、一般错误率分析： § Bayes分类的算法（假定各类样本服从正态分布） 1.输入类数M；特征数n，待分样本数m. 2.输入训练样本数N和训练集资料矩阵X(N×n)。并计算有关参数。 3.计算矩阵y中各类的后验概率。 4.若按最小错误率原则分类，则可根据 3 的结果判定y中各类样本的类别。 5.若按最小风险原则分类，则输入各值，并计算y中各样本属于各类时的风险并判定各样本类别。 解2、假定两类协方差矩阵相等∑=∑1+∑2 作业：①在下列条件下，求待定样本x=(2,0)T的类别，画出分界线，编程上机。 1、二类协方差相等，2、二类协方差不等。 作业：②有训练集资料矩阵如下表所示，现已知， N=9、N1=N2= N3=3、n=2、M=3，试问，X=(-2,2)T应属于哪一类？ 要求：用两种解法a、三类协方差不等；b、三类协方差相等。 编程上机，画出三类的分界线。 特征 x2 1 2 3 1 2 3 1 2 3 训练样本号k ω3 ω2 ω1 类别 -1 -2 -2 1 0 -1 1 0 -1 0 1 -1 -2 -1 -2 0 1 2 特征 x1 解1、假定三类协方差不等； 例2：有训练集资料矩阵如下表