模式识别第二章.pptVIP

如果有某个P(w1)，使最小风险决策得到的区域R1、R2能使b=0，则这时R与P(w1)无关，即最大可能的风险达到最小值为a第59页，共109页，星期日，2025年，2月5日1）以总风险R对P(w1)求极值，即方法：2）找出极值点后，该点的切线就为水平线，这时总风险R与P(w1)无关；∴b=0，意味决策区域的划分使平均风险R达到曲线的极大值（最小风险的极大值）。由2-34求导，得令其为0，得极大值，第60页，共109页，星期日，2025年，2月5日见图2-4b，当P(w1)=P*M(w1)时，R=R*M为最大值。对应决策区域不变时，R与P(w1)的关系为一条平行线C?D?，即不管P(w1)如何变化，风险不再变化。∴使最大风险达到了最小化！第61页，共109页，星期日，2025年，2月5日总结：当P(w1)变化时，应选使风险R达最大值（b＝0）时的P*(w1)来设计分类器。在这种分类决策区域，能保证不管P(w1)如何变化，最大风险为最小值a。∴最小最大决策任务就是寻找使R最大时的决策域R1，R2，即求b=0的决策域，由2-35求解。第62页，共109页，星期日，2025年，2月5日2.2.5序贯分类方法实际中，为得到x的d个观测值，要花费代价。考虑每个特征值提取所花的代价，最优分类结果不一定将d个特征值全部使用；另外，虽然特征数目增多，一般判决风险R(?i/x)降低，但每个特征值贡献不同。∴排队从大?小，每投入一新特征，计算一次R，同时计算获取新特征应付出的代价与该特征对R的贡献之和，比较后决定是否加入新特征。－－－序贯分类方法第63页，共109页，星期日，2025年，2月5日2.2.6分类器设计c类分类决策问题：按决策规则把d维特征空间分为c个决策区域。决策面：划分决策域的边界面称为决策面。数学上用决策面方程表示。几个概念判别函数：表达决策规则的函数，称为判别函数。第64页，共109页，星期日，2025年，2月5日1）定义一组判别函数根据决策规则若，将x归于wi类即讨论具体的判别函数、决策面方程、分类器设计第65页，共109页，星期日，2025年，2月5日例：基于最小错误率贝叶斯判决规则，显然其可定义为：?判别函数有多种形式第66页，共109页，星期日，2025年，2月5日例：基于最小风险贝叶斯判决规则，判别函数可定义为：显然，依据最大值判别法，且选择不是唯一若将都乘以相同的正常数或加相同的常量，不影响判决结果第67页，共109页，星期日，2025年，2月5日一般地是单调递增函数，则分类结果不变2）决策面方程（即判决边界）若类型wi与wj的区域相邻，它们之间的决策面方程为第68页，共109页，星期日，2025年，2月5日图2.5(a)为一维特征空间的三个决策区域（d=1），决策面为分界点；根据判决规则，建立分类器结构图2.5(b)为二维特征空间的两个决策区域（d=2），决策面为曲线；三维特征空间，分界处是曲面；d维特征空间，分界处是超曲面。第69页，共109页，星期日，2025年，2月5日3）分类器设计（硬件＋软件）功能：先确定选出判决第70页，共109页，星期日，2025年，2月5日g1(x)Maxg(x)g2(x)gn(x)例：图2-6分类器的组成d维空间第71页，共109页，星期日，2025年，2月5日再由结果的正负作决策，可简化设计。见图2-7两类：求最大值可转为将两个判别函数相减，即定义一个简单判别函数例2.3g(x)阈值单元第72页，共109页，星期日，2025年，2月5日2.3正态分布时的统计决策（研究贝叶斯分类方法在正态分布中的应用）很多时候，正态分布模型是一个合理假设。在特征空间中，某类样本较多分布在这类均值附近，远离均值的样本较少，一般用正态分布模型是合理的。a、正态分布在物理上是合理的、广泛的。b、正态分布数学上简单，N(μ,σ2)只有均值和方差两个参数研究的理由：第73页，共109页，星期日，2025年，2月5日1.一维正态分布，见式2－43（常见）第74页，共109页，星期日，2025年，