试验71基于数学模型的贝叶斯判别分析方法.DOC

第七章 数学模型 模型是算法的基础，是算法的来源与根本，因此，学习算法与编程语言的过程是离不开数学模型的。本章我们将从贝叶斯判别分析和k-means聚类两个基本问题入手来讨论两种算法的模型及实现。 在一些自然科学与社会科学的研究中，研究对象用某种方法已划分为若干类型。得到的一个新样品数据后，要确定该样品属于已知类型中的哪一类，这样的问题属于判别分析。判别分析是一种重要的统计分析方法。这一方法的基本思想是根据已知类别的样本所提供的信息，总结出分类的规律，建立判别公式和判别准则，判别新的样本点所属类型。本部分主要介绍基于数学模型的贝叶斯判别分析方法。 对事物进行分组，是人们认识事物的出发点，也是人们认识世界的一种重要方法。因此，分类学已经成为人们认识世界的一门基础学科。聚类分析又称群分析，它是研究（样本或者之别）分组问题的一种多元统计方法。所谓类，通俗地说，就是指相似元素的集合。本部分主要介绍基于数学模型的k-means聚类方法。 实验7.1基于数学模型的贝叶斯判别分析方法 实验目的 (1) 掌握贝叶斯判别方法的原理及Matlab命令。 (2) 熟练掌握matlab软件进行贝叶斯判别的方法与步骤。 距离判别只要求知道总体的数字特征，不涉及总体的分布函数，当参数和协方差未知时，就用样本的均值和协方差矩阵来估计。距离判别方法简单实用，但没有考虑到每个总体出现的机会大小，即先验概率，没有考虑到错判的损失。贝叶斯判别法正是为了解决这两个问题提出的判别分析方法。 贝叶斯公式是一个我们熟知的公式 一般讨论，考虑两个p元总体分别具有概率密度函数f1(x),f2(x)，设出现的先验概率为： ，且 当取得新样品后,根据Bayes公式的后验概率分别为 ， 因此，两个总体的Bayes判别准则为 实验内容 假设两个总体服从二元正态分布，且协方差矩阵相等，在判别损失相等的情况下，基于贝叶斯判别分析的过程如下： （1）估计两个总体的先验概率,,这里按样本容量的比例选取. （2）利用判别分析公式计算后验概率和。 （3）根据后验概率的大小比较从而确定分类的结果。 【例题7.1】蠓是一种昆虫，分为很多种类，其中一种名为Af，是能传播花粉的益虫；另一种名为Apf，是会传播疾病的害虫。这两种昆虫的形态非常相似，很难区别。现测得6只Apf和9只Af的触角长度和翅膀长度。 apf=[1.14,1.78;1.18,1.96;1.20,1.86;1.26,2.;1.28,2;1.30,1.96]; af=[1.24,1.72;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90;1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08]; 请判别x=[1.24,1.8;1.28,1.84; 1.4,2.04]三种蠓虫属于哪一类 解： 第1步：估计两个总体的先验概率,,这里按样本容量的比例选取.由于Apf与Af分别为6个与9个，故估计Apf类蠓虫的先验概率0.4，Af类蠓虫的先验概率0.6； apf=[1.14,1.78; 1.18,1.96;1.20,1.86;1.26,2.;1.28,2;1.30,1.96]; af=[1.24,1.72;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90; 1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08]; x=[1.24,1.8;1.28,1.84; 1.4,2.04]; m1=mean(apf);m2=mean(af); s1=cov(apf);s2=cov(af);s=(5*s1+8*s2)/13; 第2步：计算后验概率 for i=1:3 w1(i)=m1*inv(s)*x(i,:)-1/2*m1*inv(s)*m1+log(0.4); w2(i)=m2*inv(s)*x(i,:)-1/2*m2*inv(s)*m2+log(0.6); 第3步：比较后验概率的大小 if w1(i)=w2(i) disp([第,num2str(i),个蠓虫属于Apf类]); else disp([第,num2str(i),个蠓虫属于Af类]); end; end; 输出结果： 第1个蠓虫属于Apf类 第2个蠓虫属于Apf类 第3个蠓虫属于Apf类