PR部分习题解答.docVIP

第二章：贝叶斯决策理论 主要考点： 最小错误率贝叶斯分类器； 最小风险贝叶斯分类器； 多元正态分布时的最小错误率贝叶斯分类器。 典型例题：Ｐ４５，２.２３，２.２４。 例题1：在一个一维模式两类分类问题中，设，两类的类概率密度分别为 1）求最小错误率贝叶斯分类器的阈值。 2）设损失为，求最小风险贝叶斯分类器的阈值。 解：由于p(w1)=1/3, p(w2)=2/3，则最小错误率贝叶斯分类器的阈值 θ=p(w2)/p(w1)=2 其相应的决策规则为： 则 即 当L= 时， 从而最小风险贝叶斯决策规则的阈值为： 判决规则为： ,则 即= 例２ｐ45,2.23 解：这里两类协方差矩阵相等。 负对数似然比判别规则为 例３2.24 解： 例４：假设两类二维正态分布参数如下，试给出负对数似然比判别规则。 解：负对数似然比判别规则为 所以，决策规则为： 实验一：贝叶斯分类器设计 实验1）随机生成服从二维正态分布的三类样本 类别 均值 方差 训练样本个数 测试样本数 1 300 100 2 200 100 3 500 100 2）利用训练样本估计各类的均值与协方差矩阵，并以此作为各类的类概率密度的参数； 3）设计基于最小错误率的贝叶斯分类器； 4）计算测试样本的错误率 5）分析实验结果 上机步骤：第一步：生成各种随机数 d1=1+sqrt(4)*randn(1,300); % d2=2+sqrt(6)*randn(1,300);　 train_data1=[d1;d2]; %合成一个二维正态分布的训练样本，类别为１; d3=5+sqrt(5)*randn(1,200); d4=3+sqrt(1)*randn(1,200); train_data2=[d3;d4]; ％生成一个二维正态分布的训练样本，类别为２； d5=4+sqrt(2)*randn(1,200); d6=7+sqrt(9)*randn(1,200);　 ％生成一个二维正态分布的训练样本，类别为３； c1=1+sqrt(4)*randn(1,100); % c2=2+sqrt(6)*randn(1,100);　 test_data1=[c1;c2]; %合成一个二维正态分布的训练样本，类别为１; c3=5+sqrt(5)*randn(1,100); c4=3+sqrt(1)*randn(1,100); test_data2=[c3;c4]; %生成一个二维正态分布的训练样本，类别为２； c5=4+sqrt(2)*randn(1,100); c6=7+sqrt(9)*randn(1,100);%生成一个二维正态分布的训练样本，类别为３； test_data2=[c5;c6]; 第二步：计算各类的均值与协方差矩阵； miu1=mean(train_data1); miu2=mean(train_data2); miu3=mean(train_data3); cov1=cov(train_data1); cov2=cov(train_data1); cov3=cov(train_data1); 第三步：设计基于最小错误率的贝叶斯分类器，这属于三类问题，第三种情况：各类的协方差均不相等。分类函数见书上P33,公式２－２０７～２－１１２； 第四步：将生成的测试样本依次用分类函数分类，计算所有样本的正确分类次数及正确分类率； 第五步：与理论计算相比较，分析结果。 线性判别函数 要求掌握线性判别的一般步骤，fisher分类器的设计步骤。 例１p117,4.4 解: 广义齐次函数 实验二：?线性分类器训练 1）随机生成服从二维正态分布的三类样本 类别 均值 方差 训练样本个数 测试样本数 1 300 100 2 200 100 2）设计Fisher分类器； 3) 计算测试样本的错误率 4) 分析实验结果 实验步骤： 生成服从二维正态分布的二类样本，方法同实验一； 计算各类样本均值向量，样本类间散度矩阵，总散度矩阵； 求使得Fisher准则函数JF(w)取极大值时的解，； 分类器为： 将测试样本输入分类器，一一测试其分类。具体方法见ｐ９０。 非线性判别函数、最领近法 要求：掌握最领近法的分类及图解、马氏距离的计算，主成分分析方法 典型例题：ｐ１６０，６。５ 例题：设两类模式的特征向量分别服从正态分布，均值向量及协方差矩阵分别为：， 一未知类别样本的特征向量 1）利用Mahalanobis距离判别x 的类别； 2）计算 x 的主成分特征。 解：（1）由马氏距离的定义，则 , 而，则