02贝叶斯决策理论.pptx

第二章 贝叶斯决策理论;;2.1引言;继续考虑鲈鱼和鲑鱼的例子;只依赖先验概率的决策;分类决策的分析;加入后验信息;类条件概率密度函数;后验概率;贝叶斯公式;后验概率;贝叶斯决策规则;贝叶斯决策;分类器，判别函数和决策面;等价形式;基于最小错误率的贝叶斯决策规则： ;2.2最小错误率贝叶斯决策;决策规则;例：假设在某个局部地区细胞识别中正常和异常两类的先验概率分别为 正常状态： 异常状态： 现有一待识别的细胞，其观察值为x，类条件概率密度分别为 , 试对该细胞x进行分类。 解：;最小错误率的讨论;最小错误率的讨论;两类错误率;两类错误率;Neyman-Pearson决策;2.3最小风险贝叶斯决策;问题描述;最小风险贝叶斯决策;最小风险贝叶斯决策的决策规则;决策步骤;特殊情形;几种等价形式;决策例子;决策例子;分析;2.3 正态分布时的统计决策 ;正态分布的重要性;2.3.1正态分布概率密度函数的定义及性质;正态分布的重要性质; ㈡ 多元正态分布 ⒈多元正态分布的概率密度函数 ;●协方差的各分量为：;●协方差矩阵总是非负定阵。 ●对于任意随机向量x，xT∑x是∑的二次型。如果对x≠0的一切x 有 xT∑x≥0 都成立，则称∑为非负定阵。 ●若xT∑x0，则∑为正定阵。 ●对于正定矩阵，各阶主子式非零（包括|∑|≠0）。 ;2.多元正态分布的性质 ⑴参数μ和∑对分布的决定性 ⑵等密度点的轨迹为一超椭球面 ⑶不相关性等价于独立性 ⑷边缘分布和条件分布的正态性 ⑸线性变换的正态性 ⑹线性组合的正态性;⑴参数μ和∑对分布的决定性 ;⑵等密度点的轨迹为一超椭球面 ; ■当指数项为常数时，密度p(x)值不变，因此等密度点应是此式的指数项为常数的点，即应满足 ;为x到μ的Mahalanobis距离的平方。所以等密度点轨迹是x到μ的Mahalanobis距离为常数的超椭球面。这个超椭球体大小是样本对于均值向量的离散度度量。 可以证明对应于Mahalanobis距离为超椭球的体积是;⑶不相关性等价于独立性 ; ■一般情况下相关与独立的关系;⑷边缘分布和条件分布的正态性;根据边缘分布定义;其中由于; 同理可以推出x2的边缘分布为;⑸线性变换的正态性 ;⑹线性组合的正态性 ;根据最小错误率贝叶斯判别函数，在多元正态概型(p(x|ωi)~N(μi，∑i),i=1,…，c)下就可以立即写出其相应的表达式。 判别函数为: ; 这种情况中每类的协方差矩阵都相等，而且类内各特征间相互独立，具有相等的方差。下面再分二种情况讨论。 ⒈ 先验概率P(ωi)与P(ωj)不相等; 由于上式中的第二、三项与类别i无关，故可忽略，并将gi(x)简化为 ;⒉ 先验概率P(ωi)=P(ωj)时的情况;判别函数gi(x)是x的线性函数。 判别函数为线性函数的分类器称为线性分类器(linear machine)。 ;在∑i=σ2I 下，这个方程可改写为;满足wT(x－x0) = 0式的x的轨迹为ωi与ωj类间的决策面，它是一个超平面;当P(ωi)不等于 P(ωj)时，如图所示。;㈡第二种情况∑i=∑ ;将（2）式展开，忽略与i无关的xT∑-1x项，则判别函数可写成下面的形式;如果决策域Ri和Rj相邻，则决策面方程应满足： gi(x)－ gj(x)=0 即 wT(x―x0)=0 其中 w=∑-1(μi－μj) ;若各类的先验概率相等，则;㈢一般情况—∑i≠∑j;判别函数gi(x)表示为x的二次型。 若决策域Ri与Rj相邻，则决策面应满足 gi(x)－gj(x)=0 即 xT(Wi－Wj)x+(wi－wj)Tx+wi0－wj0=0 由上式所决定的决策面为超二次曲面，随着∑i，μi，P(ωi)的不同而呈现为某种超二次曲面，如超球面、超椭球面、超抛物面、超双曲面或超平面。 ;9、春去春又回，新桃换旧符。在那桃花盛开的地方，在这醉人芬芳的季节，愿你生活像春天一样阳光，心情像桃花一样美丽，日子像桃子一样甜蜜。8月-218月-21Tuesday, August 24, 2021 10、人的志向通常和他们的能力成正比例。09:37:5409:37:5409:378/24/2021 9:37:54 AM 11、夫学须志也，才须学也，非学无以广才，非志无以成学。8月-2109:37:5409:37Aug-2124-Aug-21 12、越是无能的人，越喜欢挑剔别人的错儿。09:37:5409:37:5409:37Tuesday, August 24, 2021 13、志不立，天下无可成之