第3讲 统计分类(一)--贝叶斯分类器.ppt

速冻大哥个 模式识别 第三讲 统计模式识别（一） －－贝叶斯分类方法 1、全概率公式和贝叶斯公式 （1）条件概率： 设A、B是两个事件，且P(B)0，则称 为在事件B发生的条件下事件A发生的条件概率。 （2）全概率公式 设某试验E的样本空间为S，A为E的事件，B1，B2，…，Bn为S的一个划分，且P(Bi)0(i=1,2,……,n)，则 P(A)=P(A|B1)P(B1)+ P(A|B2)P(B2)+…＋ P(A|Bn)P(Bn) 称为全概率公式 (3)贝叶斯（Bayes）公式 设试验E的样本空间为S，A为E的事件，B1，B2，…，Bn为S的一个划分，且P(A)0 ，P(Bi)0(i=1,2,……,n)，则 2、随机变量的概念 设E是随机试验，它的样本空间是S＝{e}。如果对于每一个 ，都有一个实数X(e)与之对应，这样就得到一个定义在S上的单值实值函数X=X(e)，称为随机变量。 随机变量可分为离散型随机变量和连续型随机变量。 3、离散型随机变量及其分布 （1）概念 如果随机变量的全部取值是有限个或可列无限多个，则称为离散型随机变量 （2）离散型随机变量的概率分布 设离散型随机变量X所有可能取的值为xk（k＝1，2，…），X取各个可能值的概率，即事件{X=xk}的概率，为 P{X=xk}=pk，k ＝1，2，… 如果pk满足下面两个条件 k ＝1，2，… 则称上式为离散型随机变量X的概率分布 （3）几种重要的分布 （0－1）分布 k=0,1 (0p1) 二项分布 泊松分布 4、随机变量的分布函数 （1）概念 设X是一个随机变量，x是任意实数，函数 称为X的分布函数。 （2）性质 （a）F（x）是一个不减函数 （b） 5、连续型随机变量的概率密度 （1）概念 对于随机变量X的分布函数F(x)，存在非负函数f(x)，使对于任意实数x有 则称X为连续型随机变量，其中f(x)称为X的概率密度函数。 （2）概率密度函数的性质 （3）两种重要的连续型随机变量 均匀分布 设连续型随机变量X具有概率密度 则称X在区间（a，b）上服从均匀分布。其分布函数为 正态分布 设连续型随机变量X具有概率密度 则称X服从参数为μ，σ的正态分布或高斯分布。其分布函数为 6、n维随机向量及其概率分布 （1）设E是一个随机实验，它的样本空间是S＝{e}，设X1＝X1(e)， X2＝X2(e)，…， Xn＝Xn(e)是定义在S上的随机向量，由它们构成的一个n维向量(X1,X2,…,Xn) 叫做n维随机向量或n维随机变量。 （2）对于任意n个实数x1,x2,…,xn，n元函数 称为n维随机变量(X1,X2,…,Xn) 的分布函数或随机变量X1,X2,…,Xn 的联合分布函数 7、随机向量的独立性 设n维随机变量为 ,若任意实数 有 则称随机变量 是相互独立的。 8、随机变量的数字特征 （1）数学期望 设离散型随机变量 的分布律为 若级数 绝对收敛，则称其和为随机变量 的数 学期望或平均值，简称期望或均值,记为 ，即 设连续型随机变量 的密度函数为 。若积分 绝对收敛，称该积分值为随机变量的数学期望或平均值，简称期望或均值，记为 ，即 二、贝叶斯分类原理： 1、确定性分类和随机性统计分类 以两类分类问题来讨论，设有两个类别ω1和ω2，理想情况， ω1和ω2决定了特征空间中的两个决策区域。 确定性分类： 我们任取一个样本x，当它位于ω1的决策区域时，我们判别x ∈ω1；当它位于ω2的决策区域时，我们判别x ∈ω1。也可以说：当x位于ω1的决策区域时，它属于ω1的概率为1，属于ω2的概率为0。 随机性统计分类： 如我们任取一个样本x，当它位于ω1的决策区域时，