02贝叶斯决策理论答案.pptVIP

满足wT(x－x0) = 0式的x的轨迹为ωi与ωj类间的决策面，它是一个超平面 当P(ωi)= P(ωj)时，超平面通过μi与μj连线中点并与连线正交，如图所示。 当P(ωi)不等于 P(ωj)时，如图所示。 如果σ2远小于||μi-μj||2，则决策面的位置对先验概率不敏感。 ㈡第二种情况∑i=∑ 由∑i =∑2 =…=∑c =∑，即∑与i无关，所以，其判别函数（1）可简化为 若c类先验概率都相等则判别函数可进一步简化为 这时其决策规则为：为了对观察x进行分类，只要计算出x到每类的均值点μi的Mahalanobis距离平方，最后把x归于最小的类别。 （2） （1） 将（2）式展开，忽略与i无关的xT∑-1x项，则判别函数可写成下面的形式 其中， wi=∑-1μi （3） （2） 由式（3）可见：它也是x的线性判别函数，因此决策面仍是一个超平面。 如果决策域Ri和Rj相邻，则决策面方程应满足： gi(x)－ gj(x)=0 即 wT(x―x0)=0 其中 w=∑-1(μi－μj) 若各类的先验概率相等，则 此时x0点为μi与μj连线的中点，根据前面的讨论，决策面应通过这一点，如图2.12所示。 若先验概率不相等，x0就不在μi与μj连线的中点上，而是在连线上向先验率小的均值点偏移。 一般来说，w与μi-μj方向不同，因此决策面不垂直于μi与μj的连线。 ㈢一般情况—∑i≠∑j 各类的协方差阵不相等，则 (d×d矩阵) (d维列向量) 其中： 判别函数gi(x)表示为x的二次型。 若决策域Ri与Rj相邻，则决策面应满足 gi(x)－gj(x)=0 即 xT(Wi－Wj)x+(wi－wj)Tx+wi0－wj0=0 由上式所决定的决策面为超二次曲面，随着∑i，μi，P(ωi)的不同而呈现为某种超二次曲面，如超球面、超椭球面、超抛物面、超双曲面或超平面。 （2）贝叶斯公式消去分母 （3）统计上称为：似然比 （4）负对数 * 从这个例子可见，决策结果取决于实际观察到的类条件概率密度和先验概率两者。 * 我们前面给出了最小错误率贝叶斯决策规则，现以… 从最小错误率贝叶斯决策规则可知：若P(w2|x)P(w1|x),则决策为w2; 显然在作出决策w2时，x的条件错误概率为P（w1|x). * 令t为两类的分界面，一维时为一个点，t将x轴分为两个区域R1,R2 基于最小错误率的贝叶斯决策规则实际上是对每一个x都使P(e|x)最小者，则所有x产生的平均错误率最小 因此，基于最小错误率的贝叶斯决策确实使错误率最小 * * “最小距离分类器”如果每一个均值向量被看成是其所属模式类的一个理想原型或模板，那么这本质上是一个模板匹配技术。 决策步骤 利用贝叶斯公式计算后验概率 利用决策表，计算条件风险 在各种风险中选择风险最小的决策，即 特殊情形 在样本和决策都是两类的情形下，最小风险贝叶斯决策为： 其中， 显然，当 时，最小风险贝叶斯决策就变为最小错误率贝叶斯决策。 几种等价形式 决策例子 决策 状态 ω1 ω2 α1 0 6 α2 1 0 在前面例子的基础上，利用下面的决策表，按最小风险贝叶斯决策重新进行分类决策。 P(ω1)=0.9， P(ω2)=0.1, 未知细胞x满足P(x|ω1)=0.2， P(x|ω2)=0.4。 决策例子 解：已计算出的后验概率为 条件风险 由于 ，决策为ω2，即判别待识别细胞为异常细胞。 分析 同样的数据，因为对两类错误带来的风险的认识不同，得出了与前面相反的结论。 由于决策表是人为确定的，决策表的不同会导致决策结果的不同，因此，在实际应用中，需要认真分析所研究问题的内在特点和分类的目的，与应用领域的专家共同设计出适当的决策表，才能做出更有效的决策。 2.3 正态分布时的统计决策 正态分布概率密度函数的定义及性质 多元正态概型下的最小错误率贝叶斯判别函数和决策面 正态分布的重要性 正态分布是所有分布中最受关注的分布 数学上易于分析 物理上的合理性：适合于给定类别ωi的特征x是某个单值向量μi的随机扰动的情形（根据中心极限定理，大量微小的，独立的随机扰动加和的累积效应会导致高斯分布） 很多模式（比如鱼，手写字符，语音等）都可以看成一个理想模式被大量随机过程所扰动的结果，因此正态分布是描述实际概率分布的理想模型 2.3.1正态分布概率密度函数的定义及性质 ㈠单变量正态分布 ●单变量正态分布概率密度函数定义为 正