人工智能样板-公开课件（精选）.ppt

2.1 引言 贝叶斯决策论是解决模式分类问题的一种基本统计途径。它做了如下假设，即决策问题可以用概率的形式来描述，并且假设所有的概率结构已知。 例：鲑鱼和鲈鱼分类 两类鱼自然状态下的先验概率 先验概率是一个随机变量(?=?1鲈鱼; ?= ?2鲑鱼)  等概率假设下有： P(?1) = P(?2) P(?1) + P( ?2) = 1 2.1 引言 仅根据先验概率的判决规则 if P(?1) P(?2) 则 判为?1 否则 判为 ?2 连续判决和误差概率 使用类条件概率信息（ P(x | ?)类条件概率密度函数 ） P(x | ?1) 和 P(x | ?2) 描述两类鱼光泽度的不同 2.1 引言 2.1 引言 处于类别?j并具有特征值x的模式的联合概率密度如下： p(?j,x) = P(?j | x) . p(x)=p(x| ?j ) .P(?j ) 2.1 引言 根据后验概率判决 X 是观测属性 if P(?1 | x) P(?2 | x) 判决状态为 ?1 if P(?1 | x) P(?2 | x) 判决状态为 ?2 所以: 当我们观测到一个 x, 判决的误差概率为 : P(error | x) = P(?1 | x) 如果判决为 ?2 P(error | x) = P(?2 | x) 如果判决为 ?1 2.1 引言 平均误差概率可表示为： 2.2 贝叶斯决策论——连续特征 贝叶斯推广 使用多余一个的特征 允许多余两种类别状态的情形 允许有其他行为而不是仅仅是判定类别 通过引入一个更一般的损失函数来替代误差概率 2.2 贝叶斯决策论——连续特征 令{?1, ?2,…, ?c} 表示有限的c个类别集 {?1, ?2,…, ?a} 表示有限的a种可能的行为集 ?(?i | ?j)为类别状态?j 时采取行动?i的风险。 则有下面的几个等式： 2.2 贝叶斯决策论——连续特征 两类情况下 ?1 : 判为 ?1 ?2 : 判为 ?2 ?ij = ?(?i | ?j) :类别为?j 时误判为?i所引起的损失  条件风险: R(?1 | x) = ??11P(?1 | x) + ?12P(?2 | x) R(?2 | x) = ??21P(?1 | x) + ?22P(?2 | x) 2.2 贝叶斯决策论——连续特征 判决规则如下: 如果 R(?1 | x) R(?2 | x) 则采取行动 ?1: “判为?1” 等价判决规则1 : 如果: (?21- ?11) P(?1 | x) (?12- ?22) P(?2 |x) 判为 ?1 否则判为?2 2.2 贝叶斯决策论——连续特征 等价判别规则2： 如果： (?21- ?11) P(x | ?1) P(?1) (?12- ?22) P(x | ?2) P(?2) 判为 ?1 否则判为?2 等价判别规则3(合理假设?21 ?11)： 2.3 最小误差率分类 基于类别的行为 如果采取行为?i 而实际类别为?j，那么在i = j 的情况下判决是正确的，如果i ? j，则产生误判。为避免误判，需要寻找一种判决规则使误判概率最小化。 对称损失或0-1损失函数: 2.3 最小误差率分类 最小化误差概率，需要最大化后验概率 P(?i | x) (因为 R(?i | x) = 1 – P(?i | x)) 基于最小化误差概率，有： 对任给j ? i，如果P (?i | x) P(?j | x)，则判为 ?i 2.4 分类器、判别函数及判定面 多类别情况 判别函数 gi(x), i = 1,…, c如果：gi(x) gj(x) ?j ? i 分类器将特征向量x判为?i 2.4 分类器、判别函数及判定面 一般风险情况下，可令gi(x) = - R(?i | x) (最大判别函数与最小的条件风险相对应)根据最小误差率情况下 gi(x) = P(?i | x) (最大判别函数与最大后验概率相对应) 2.4 分类器、判别函数及判定面 每种判决规则将特征空间分为c个判决区域 if gi(x) gj(x) ?j ? i 则 x属于Ri (也就是把x判为?i) 2.4 分类器、判别函数及判定面 两类情况（二分分类器） 令 g(x) ? g1(x) – g2(x) 如果 g(x) 0判为?1 ; 否则判为 ?2 2.5 正态密度 分析的简易型 连续性 很多处理都是渐进高斯的，大量小的独立的随机分布的和 手写字符, 语音等