贝叶斯讲解概要.pptVIP

1.概率论基本知识 确定事件：概念是确定的，发生也是确定的； 随机事件：概念是确定的，发生是不确定的； 模糊事件：概念本身就不确定。 频率：试验在相同的条件下重复N次，其中M次事件A发生，则A发生的频率为：fN(A) = M / N； 概率：当N很大时，频率会趋向一个稳定值，称为A的概率： 联合概率：设A，B是两个随机事件，A和B同时发生的概率称为联合概率，记为：P(A, B)； 条件概率：在B事件发生的条件下，A事件发生的概率称为条件概率，记为：P(A|B)； 乘法定理：P(A|B) = P(A, B) / P(B)。 概率分布函数：设X为连续型随机变量，定义分布函数；F(x) = P(X≤x)； 概率密度函数：给定X是随机变量，如果存在一个非负函数f(x)，使得对任意实数a,b(ab)有 P（a＜X≤b) = ∫f(x)dx, （积分下限是a,上限是b) ，则称f(x)为X的概率密度函数 贝叶斯公式： 贝叶斯分类法一般概念 在机械工程中，大量的问题是随即的，即事件的发生是不可重复的，但它按照某种统计规律而发生变化，事件出现的概率在很多情况下是可以估计的。这种根据先验知识对工况状态出现的概率做出的估计，称之为先验概率。在工况监视过程中，主要判别工况正常与异常两种状态，它们先验概率分别用p(w1)和p(w2)表示，并有p(w1)+p(w2)=1。 我们做如下定义： P(x/w1) —— 正常状态的类条件概率密度 P(x/w2) —— 异常状态的类条件概率密度 根据贝叶斯公式可得： 式中p(wi/x)表示已知样本条件下，wi出现的概率，称为后验概率。贝叶斯公式是通过观测值x把状态的先验概率p(wi)转化为后验概率p(wi/x) ，对两类状态有 几种常用的决策准则 不同的决策规则反映了分类器设计者的不同考虑，对决策结果有不同的影响。其中最有代表性的是: 基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策额 基于最小错误率的贝叶斯决策 分类器中为什么会有错分类，在何种情况下会出现错分类？错分类的可能性会有多大？ 当某一特征向量X只为某一类物体所特有，即 对其作出决策是容易的，也不会出什么差错。问题在于出现模凌两可的情况。此时，任何决策都存在判错的可能性。 条件概率：P(*|#)是条件概率的通用符号，P(wi|X)是表示在X出现条件下，样本为wi类的概率。 基于最小错误概率的贝叶斯决策理论就是按后验概率的大小作判决的 （1）后验概率: 如果 则 (2)如果 则 (3)似然比： 如果 则 否则 (4)似然比写成相应的负对数形式 如果 则 否则 例题 假设在某地区机械运转中正常（w1）和异常（w2）两类的先验概率分别为p(w1)=0.9, p(w2)=0.1。现有一待测机械呈现出状态 x，由其类条件概率密度分布曲线查的p(x|w1)=0.2,p(x|w2)=0.4,试对机械x进行分类。 利用贝叶斯公式，分别计算出状态为x时w1与w2的后验概率 因此判定该机械正常比较合理 基于最小错误率的贝叶斯决策的证明 平均错误率:在观测值可能取值的整个范围内错误率的均值 当p(w2|x)p(w1|x)时决策为w2，对观测值x有 p(w1|x)概率的错误率 R1:做出w1决策的所有观测值区域，条件错误概率为p(w2|x) R2:条件错误概率为p(w1|x)。因此平均错误率p(e)可表示成 在R1内任一个x值都有p(w2|x)p(w1|x)，在R2区内任一个x值都有p(w1|x)p(w2|x)错误率在每个x值处都取小者，因而平均错误率p(e)也必然达到最小，这就证明了按(2-2)式作出的决策，其平均错误率为最小。 p(e)也可以写成： 错误率为图中两个划线部分之和，对应的错误率区域面积为最小。 最小平均损失的贝叶斯决策 在故障诊断中，误判的概率是客观存在的，例如把正常的工况错判为异常，将废品判成合格品等等。。 而明显后者严重性比前者大，从这点出发，提出了最小平均损失的贝叶斯决策。 定义X=（x1,x2，…，xn）T 是n维随机矢量； Ω=（w1,w2, … ，wm)是M维状态空间； α=（α1，α2， … ，αp）是P维决策空间 L(wi,αi)是损失函数简写为Lij，表示实际工况状态为wi，而采用决策αj所带来的损失 γj=γ（αj/x）=E[L(wi,αj)]为采用决策