第三章统计模式识别中的概率分类法文件材料.ppt

第三章 统计模式识别中的概率分类法;3.1 引言 3.2 最小错误率判决规则 3.3 最小风险判决规则 3.4 最大似然比判决规则 3.5 Neyman-Pearsen判决规则 3.6 最小最大判决规则 3.7 分类器设计 3.8 正态分布时的统计决策 3.9 参数估计与非参数估计;聂曼—皮尔逊判决规则的基本思想是：在一种错误率不变的条件下，使另一种错误率最小。 这是具有实际意义的，例如，在细胞的化验中，由于把异常细胞错判为正常细胞的风险较大，可以要求这种错判的错误率不大于某个指定的常数作为前提条件，使正常细胞错判为异常细胞的错误率尽可能小，以此为原则来选择判决门限t，这就是聂曼—皮尔逊判决规则的基本思想。;;所以此时聂曼——皮尔逊分类器的分界线为： ;使最大可能的平均风险为最小 但是b＝0又意味着由于类型区域的划分使平均风险达到曲线极值，如下图所示。此时 ， 为曲线的最大值。 即在训练过程中使平均风险达到最大值，恰好在分类判决中使最大可能的平均风险达到最小值，这就是最小最大判决规则的基本思想。 ;3.7 分类器设计;;3）分类器设计 功能：先设计出c个判别函数 ，再从中选出对应于判决函数为最大值的类作为决策结果。;3．两类情况 （1）判决函数 决策规则： 具体来说，可定义： ① ② ③ （2）决策面方程 也可以表示为： （3）分类器设计 通过计算，根据计算结果的符号将x分类。;3.8 正态分布决策理论 一、正态分布判别函数 1、为什么采用正态分布： a、正态分布在物理上是合理的、广泛的。 b、正态分布数学上简单，N(μ, σ 2) 只有均值和方差两个参数。 2、单变量正态分布： ;3、（多变量）多维正态分布 （1）函数形式：;(2)、性质： ①、μ与∑对分布起决定作用P(χ)=N(μ, ∑), μ由n个分量组成，∑由n(n+1)/2元素组成。∴多维正态分布由n+n(n+1)/2个参数组成。 ②、等密度点的轨迹是一个超椭球面。区域中心由μ决定，区域形状由∑决定。 ;③、不相关性等价于独立性。若xi与xj互不相关,则xi与xj一定独立。 不相关： 独立： ;⑤、线性变换的正态性Y=AX，A为线性变换矩阵。若X为正态分布，则Y也是正态分布。 ⑥ 、线性组合的正态性 其中，a与x同维。;判别函数：类条件概率密度用正态来表示：;二、最小错误率(Bayes)分类器：从最小错误率这个角度来分析Bayes 分类器 1.第一种情况：各个特征统计独立，且同方差情况。(最简单情况); ;最小距离分类器：未知x与μi相减，找最近的μi把x归类;;讨论：;未知x，把x与各类均值相减，把x归于最近一类。最小距离分类器。;;讨论：针对ω1，ω2二类情况，如图：;3、第三种情况(一般情况)：Σ?为任意，各类协方差矩阵不等，二次项xT Σ? x与i有关。所以判别函数为二次型函数。;;;3.12 参数估计与非参数估计;3.12.1 参数估计与监督学习 贝叶斯分类器中只要知道先验概率，条件概率或后验概 概率 P(ωi),P(x/ωi), P(ωi /x)就可以设计分类器了。现在 来研究如何用已知训练样本的信息去估计P(ωi),P(x/ωi), P(ωi /x) 一．参数估计与非参数估计 参数估计：先假定研究的问题具有某种数学模型，如 正态分布，二项分布，再用已知类别的学习 样本估计里面的参数。 非参数估计：不假定数学模型，直接用已知类别的学习 样本的先验知识直接估计数学模型。 ;二．监督学习与无监督学习 监督学习：在已知类别样本指导下的学习和训练， 参数估计和非参数估计都属于监督学习。 无监督学习：不知道样本类别，只知道样本的某些 信息去估计，如：聚类分析。;3.12.2 参数估计理论 一．最大似然估计 假定： ①待估参数θ是确定的未知量 ②按类别把样本分成M类X1，X2，X3，… XM 其中第i类的样本共N个 X