第7讲贝叶斯决策论.pptVIP

第7讲 贝叶斯决策论 主要内容 引言 贝叶斯决策论-连续特征 最小误差率分类 分类器、判别函数及判定面 正态密度 7.1引言 1）贝叶斯决策论的概念 贝叶斯决策论：利用概率的不同分类决策与相应的决策代价之间的定量折中。 假设：决策问题可以用概率的形式来描述，并假设所有有关的概率结构均已知。 2）鱼类分类的例子：鲈鱼，鲑鱼（续） 使用长度作为特征 使用光泽度作为特征 判别边界 使用光泽度和宽度特征的散布图 复杂模型 最优折中 3）几个概念 如果用w表示类别状态，那么当w=w1时是鲈鱼，当w=w2时是鲑鱼，可由概率来描述特性的随机变量。 先验概率：P(w1)表示鲈鱼的先验概率， P(w2)表示鲑鱼的先验概率，满足P(w1) + P(w2) =1。 类条件概率密度：假设x是一连续随机变量，其分布取决于类别的状态，表示成p(x|w)的形式，也称状态条件密度。 假设已知先验概率P(wj)，也知道条件概率密度p(x|wj)，且j=1,2。通过观察和测量，发现某个特征（一条鱼的光泽度）为x。则联合概率密度可写成 p(wj, x)=P(wj|x)p(x)=p(x|wj)P(wj) 于是可得贝叶斯公式： P(wj|x)=p(x|wj)P(wj)/p(x) 在两类问题下： 4）决策规则--最小化误差概率条件下的贝叶斯决策规则 决策规则：如果某个观测值x使得P(w1|x)比P(w2|x)大，则判断类别是w1，反之，则判断w2。 误差概率： 7.2贝叶斯决策论-连续特征 推广： 允许使用多于一个特征 允许多于两种类别状态的情形 允许有其他行为而不是仅仅判断类别 通过引入一个更一般的损失函数来替代误差概率 注：损失函数：精确地阐述了每种行为所付出的代价大小，并且用于将概率转换为一种判决。 令{w1,…,wc}表示有限个c个类别集，{α1,…,αa}表示有限的a种可能采取的行为集，风险函数λ(αi|wj)描述类别状态为wj时采取行动αi的风险。特征向量x表示一个d维随机变量。令p(x|wj)表示x的状态条件概率密度函数，则后验概率可表示成： 如果观测到某个特定模式x并且采取行为αi，如果真实的类别为wj，通过定义将有损失λ(αi|wj)，则相应损失为 两类分类问题 λij=λ(αi|wj)表示当前实际类别为wj时误判为wi所引起的损失。 条件风险为： 如果 利用贝叶斯规则，则等价于 7.3最小误差率分类 如果采取行为αi，而实际类别为wj，那么在i=j的情况下判定是正确的，如果i≠j，则产生误判。如果要避免误判，自然要寻找一种判决规则使误判概率最小化。 对称损失函数或0-1损失函数 7.4分类器、判别函数及判定面 7.4.1多类情况 常用的判别函数为gi(x), i=1,…,c的形式，如果对于所有的j≠i，有 gi(x) gj(x) 则此分类器将这个特征向量x判为wi 分类器可视为一个网络或机器（图7-5）。 具有一般风险的情况下，让gi(x)=-R(αi|x) 在最小误差概率情况下，让gi(x)=P(wi|x) 在最小误差概率情况下，一些常用选择： 图7-6在这个二维的两类问题的分类器中，概率密度为高斯分布，判决边界由两个双曲线构成，因此判决区域R2并非是简单的连通的。椭圆轮廓线标记出1/e乘以概率密度的峰值。 7.4.2两类情况：二类分类器 判别函数 如果 则判为w1，否则判为w2 。 常用的个g(x)函数如下： 7.5正态密度 f(x)的数学期望 7.5.1单变量密度函数 单变量正态密度函数 7.5.2多元密度函数 d维多元正态密度的形式 7.6正态分布的判别函数 情况1 省略无关常数后，可得简单的判别函数 可得等价的线性判别函数 超平面此方程可写成 情况2 可简化为 边界面方程为 情况3 去掉常量后，判别函数为二次型： 可求得相应参数为 谢谢！ 其中 记为 协方差矩阵： 图7-8 特征空间中的一个线性变换将一个任意正态分布变换成另一个正态分布。 正态分布的性质： 服从正态分布的随机变量的线性组合还是一个正态分布。 白化变换 直线投影 图7-9从一个以均值μ为中心的云团内的二维高斯分布中取出的样本。椭圆显示了等概率密度的高斯分布轨迹。 多元正态密度完全由d+d(d+1)/2个参数确定。从一正态分布中所抽取的样本点趋向于落在一个单一的云团或聚类中。等密度点的轨迹为一超椭圆体，这些椭圆体的主轴由Σ的本征向量给出，本征值决定这些长轴的长度。 称为从x到μ的Mahalanobis距离或马氏距离。 等密度分布的边界是一些到 的恒定马氏距离的超椭圆体，且这些超椭圆体的体积决定了均值附近的样本的离散程度。 与Mahalanobis距离r对应的超椭圆体的体积为 其中