贝叶斯风险是理论上的最小风险.PPT

特例 如果先验概率不同？ 一般情况 任意高斯密度函数 令 ， ，则得到二次型判别函数 一般情况 任意高斯密度函数 两类情况下，判决面为超二次曲面 一般情况 任意高斯密度函数（多类情况下） 例子 判决边界 判决边界并未经过μ1,μ2的中点 ，而是偏下一点 小结 贝叶斯规则 基于观察值，将类先验概率 和类条件密度 转化为后验概率 贝叶斯决策 最小化总风险 最小化误差概率：选择最大后验概率的类别 贝叶斯决策是理论上的最优决策，贝叶斯风险是理论上的最小风险 判别函数 判决区域和判决边界 小结 多元高斯概率密度函数 假设类条件概率密度满足高斯分布 判别函数 判决面 * 每次预测总是先验概率最大的类 全概率公式 特征无区分能力 鱼的长度x * 除分类以外的行为允许拒绝决策的可能，比如在概率接近的情况下拒绝决策 * Theta_b：书上有错 0-1损失，lambda分子式为1 Lambda_12lambda_21时，lambda分子式大于1，所以theta_b在上方 * * * * * 底部曲线为固定分布的两类问题中最小误差率作为先验概率的函数曲线 可黑板作图说明 * 把这个一般形式的判别函数写在黑板上 第二次课到此为止 贝叶斯决策的最优性 对问题作如下泛化： 允许多类情况； 允许其他行为而不仅仅是判定类别； 引入更一般的损失函数来替代误差概率。 损失函数 当真实类别为 时，采取行动 所带来的损失 允许某种分类错误的代价高于其他分类错误 条件风险（期望损失） 当观察到x的时候，采取行动 造成的期望损失 贝叶斯决策的最优性 判决规则函数 将观察到的特征x映射到应采取的行动的函数 总风险 某个判决规则的期望损失 最优决策 使得总风险最低的判决规则 对任意给定的特征x，如果判决规则 选择的的行动能够最小化条件风险 ，那么总风险将最小化 贝叶斯决策规则：对所有i=1,2,…,a，计算条件风险 ，选择行动 使得条件风险 最小化 贝叶斯决策得到的最小总风险被称为贝叶斯风险，表示为R* 两类分类问题 行动 ：判决为类别 ：判决为类别 损失 条件风险 最小风险决策规则 如果 ，则模式为 两类分类问题 等价的最小风险决策规则 通常情况下，分类错误的损失要大于正确的损失（正确时往往无损失） 似然比 与x无关，对某个问题来讲，是可预先计算的常量 两类分类问题 基于似然比的贝叶斯决策规则 如果 ，则模式为 否则，模式为 例子 不同的损失函数决定了不同的判决阈值 和 ：“0-1”损失 ： 每一类的判决域可能是不连续的 损失函数的特例：“0-1损失” “0-1”损失（对称损失）函数 决策正确时无损失，任何一种错误的损失都等于一个单位，即所有误判都是等价的 “0-1”损失的条件风险 该条件风险即误差率（error rate） 最小化条件风险 等于最大化后验概率 最小误差率分类 最小误差率分类是采用“0-1”损失函数时的最小风险分类 两类情况下的最小误差率分类判决规则 多类情况下的最小误差率分类判决规则 如果 ，则模式为 否则，模式为 如果 ， 则预测该模式为 极小化极大准则 最小风险分类器依赖于先验概率 在先验概率未知的情况下，如何设计风险较小的分类器？ 使先验概率取任何一种值时所引起的总风险的最坏情况尽可能小——最小化最大可能的总风险 极小化极大（Minimax）准则 极小化极大准则 总风险 对两类问题来讲： 代入 以及 ，可重写总风险公式： R与 成线性关系 选择使 的 和 ，则总风险与 无关，此时的总风险称为极小化极大风险 极小化极大准则 一旦 和 确定，为常数 极小化极大准则 极小化极大风险 通过交换两种类别，极小化极大风险也可表示为 例子 极小化极大风险（不依赖于先验概率） 判别函数 分类器最常用的表述方式为判别函