基于最小错误率贝叶斯分类器的设计.pptVIP

基于最小错误率的贝叶斯决策 目 录 贝叶斯定理 贝叶斯决策理论 最小错误贝叶斯决策方法 最小错误贝叶斯分类的计算过程 最小错误贝叶斯分类的Matlab实现 结论 称为Bayes公式。从公式可以看出基于贝叶斯决策的决策结果取决于实际已给出训练样本的类条件概率和先验概率。贝叶斯概率是通过先验知识和统计现有数据，使用概率的方法对某一事件未来可能发生的概率进行估计的。 贝叶斯定理 Bayes公式：设实验E的样本空间为S，A为E的事件，B1,B2,...Bn为 S 的一个划分（也即类别）且有P（A）0,P(Bi)0, (i=1,2,…n),则下式 贝叶斯决策理论 本次酒瓶颜色分类属于多类（4类）判别情况，对于一个模式样本X要判别它属于哪一类要基于以下步骤进行： 设定类别ωi =(ω1,ω2,…,ωm),模式样本x=(x1,x2,…, xn) 1. 确定判别函数：M类有M个判别函数g1(x), g2(x),…, gm(x)，用于表示多类决策规则。多类判别函数可以定义为如下三种形式： 如果使得 ， 对于一切i≠j成立，则将x归于i类。 贝叶斯决策理论 2.确定决策面方程： 3.进行分类器设 最小错误贝叶斯决策方法 在模式分类问题中，人们往往希望尽量减少分类的错误，从这样的要求出发，利用概率论中的贝叶斯公式，就能得出使错误率为最小的分类规则，称之为基于最小错误率的贝叶斯决策。 最小错误贝叶斯决策方法 设有M类模式，分类规则为 若 则 。 上式称为最小错误贝叶斯决策规则。顾名思义，这一决策的错误率是最小的。 最小错误贝叶斯决策方法 对于两类情况： 如果 对于多类情况： 如果 且 最小错误贝叶斯决策方法 化为对数形式为 或者 其中 为待测试的样本值， 为学习样本的类均值， 为学习样本的协方差矩阵。 最小错误贝叶斯分类的计算过程 首先计算每一类样品的均值 这里我们以第二类为例，其他各类同理计算 B=[ 2352.12 2297.28 2092.62 2205.36 2949.16 2802.88 2063.54 2557.04 3340.14 3177.21 3243.74 3244.44 3017.11 3199.76 1411.53 535.62 584.32 1202.69 662.42 1984.98 1257.21]; X2 = 1.0e+03 * 2.3947 3.1113 1.0913 最小错误贝叶斯分类的计算过程 然后求出每一类样品的协方差矩阵Si，并出其逆矩阵Si-1和行列式，l为样品在每一类序号，j和k为特征值序号，Ni为每类学习样本中包含元素的个数。 其中： 最小错误贝叶斯分类的计算过程 第二类样品的协方差如下： S2 =1.0e+05 * 1.2035 -0.0627 0.4077 -0.0627 0.6931 -0.7499 0.4077 -0.7499 2.8182 协方差逆矩阵为 S2_ =1.0e-04 * 0.0877 -0.0081 -0.0149 -0.0081 0.2033 0.0553 -0.0149 0.0553 0.0523 在计算S2的行列式的值，前期的数值计算基本完成。 最小错误贝叶斯分类的Matlab实现 重要程序代码介绍： 初始化程序 %输入训练样本数，类别数，特征数，以及属于各类别的样品个数 N=29;w=4;n=3;N1=4;N2=7;N3=8;N4=10; 参数计算 %计算每一类训练样品的均值 X1=mean(A);X2=mean(B);X3=mean(C);X4=mean(D); %求每一类样品的协方差矩阵 S1=cov(A);S2=cov(B);S3=cov(C);S4=cov(D); %计算协方差矩阵的逆矩阵 S1_=inv(S1);S2_=inv(S2);S3_=inv(S3);S4_=inv(S4); %计算协方差矩阵的行列式 S11=det(S1);S22=det(S2);S33=det(S3);S44=det(S4); 最小错误贝叶斯分类的Matlab实现 重要程序代码介绍： %计算训练样本的先验概率 Pw1=N1/N;