贝叶斯决策理论与统计判别方法.docxVIP

第二章贝叶斯决策理论与统计判别方法 §2.1引言 对一个样本X 表示成一个d维特征向量X =(兀],兀2, 找出一种办法，将其分类，X : co^i = l,2...c. 用映射的观点：X g Rd —— 符号集 运用概率作为分类的依据实现分类 先验概率 p(0), i=l,...,c. 概率密度函数P(X丨0.) 后验概率户(? IX) §2.2几种常用的决策规则 2.2.1基于最小错误率的贝叶斯决策 给定x — ? 对任一给定X值，它属于0?的概率P(?IX) 如 P(? 丨 X) = 1,则 丨 X) = 0J 幻. 则XT?错判的可能性为0. 如果P(a)i IX) = maxP(^7 I %),./ = 1,2, 则 X w J . 对X这一具体样本，错判的概率最小P(elX) = l-P(? IX) 平均错误率p(e) = Jp(e \X)P(X\lx= J[l- P(a)^ I X)dx = l- JP估 I X)P(X)dx R 后验概率要以先验概率与类概率密度分布计算一 一贝叶斯公式 联合概率密度函数 P(X, (0{ ) = P(coi 1 x)p(^) = P(X 1 6 贝叶斯公式：P(? 1 x) = P3 ) %) 基于最小错误率贝叶斯决策的其它表示 z)p仙) (2-1) 如果 P{x 10）P（?） = max P（x I co^P^coj\ j = 1,2,…,c. 则 X G coi 似然比表示l（x）=学叫＞ 4^4，则严 （2-4） 负对数力（兀）=-ln[/（x）] （2-5） 错谋率（图2.3）P11 平均错谋率 P{e） = f P（ct）2 丨 + [ P（? I x）P^x）dx ?Ri JRy =[P（x I ?）P（? ）dx + （ P（x I ?）P（? ）dx （2-9） 2.2.2基于最小风险的贝叶斯决策 出发点：考虑由错判引起的后果 不同的错谋产牛后果的严重性不同，损失，风险。 癌症」正常 正常」U癌症 损失人 损失小 原则：减小犯损失人的错的可能性T扩人其它错误的可能性 定义: ?状态空间：样木类别空间 ?决策空间：所作决策的集合 ?损失系数： 入j =兄（％ I co.） ?期望损失： 对某一样本X,作匕决策。 而X对各类的后验概率 R（ai\x）=YjZijP（coj\x） j=i （2-14） ?基于最小风险（损失）决策 如果R（ar I x）= minR（ai I x\i = 1,…，a.则兀 e ar i ? 期望风险： 对样木x在特征空间取值的平均风险 R = |/?（6Z+ I x]p{x）dx （2-16） ?基于最小风险决策与基于最小错课率决策的关系 期望损失： R(ai \x)=^Z.p[coj lx) 如令T ;;; 则 7?(a： I 兀)=￡ P(a)j I x) = 1 - P(Q；丨 x) j 田 故基于最小错误率称为基于最小风险决策的(0-1)决策 图2.3决策域左移一6Z|2 C(2\ 例P102.1和P14 2.2结果比较 2.2.3在限定一类错误率条件下使另一类错误率为最小的两 类别决策 基于最小错误率决策中一个重要因素p(?)的影响 P(e)= ) Jp(兀 I co2 )dx + ) |p(x I co{ )dx R\ R? (2-9) 定义P|@)= I co})dx P)(e?)= Jp(x I a)2)dx R2 內 如果p{coi)不可靠不稳定，为了排除该影响 限定尸2@)=勺条件下，使片@)授小 条件极值 利用拉格朗FI乘子法 r = Pl(e)+A(P2(e)-e0) (2-20) =jp(xl (D^dx-\- Jp(xl?0x_ /?2 L =1- |p(x I CDy }dx + A |p(x I a)2)dx-壮。 R、 =(1-几匂)+ J[/lP(x I ? ) 一 P(x 丨 ? r2 R\ R\ P(xl?) 匂=Jp(兀?) R\ 沿R\边界的点X具有举如=A的性质 决策：如果卩$叫〉则xw P[x \a)2) dr ——= 0= dx dr n ——= 0= dA (2-25,26) 5 a)2 (2-28) 224最小最大决策 另一种考虑先验概率不稳定不可靠的决策方法 两类别最小风险 R = lx）+2I2P（d）2 I x）］P（x）rfx4- Ix）+lx）］P（x）rfx 利用贝叶斯公式及P仙）+ P（?） = 1 R = a + bP 仙） 其中 q = 222 +（A12 - A22） |p（x I a）2 ）dx （2-34） （2-35）R\b =（入| -入°） + （入| —人|） JP{x I co°）dx —（入2 —几”）JP（x I co^^dx r