模式识别与机器学习-习题及答案 ch02 贝叶斯统计决策.docx

贝叶斯统计决策 习题 1.利用概率论中的乘法定理和全概率公式，证明： (1)贝叶斯公式 略 对于两类情况，P(a;|x)+P(?|x)=1。 答：为了证明(2)中的等式，我们需要利用概率论中的乘法定理和全概率公式。 首先，根据乘法定理，我们有： P(a;|x) = P(a;x) / P(x) P(a?|x) = P(a?x) / P(x) 根据全概率公式，我们有： P(a;x) + P(a?x) = P(x) P(a;) + P(a?) = 1 将上述公式代入P(a;|x) + P(a?|x) = 1中，得到： (P(a;x) / P(x)) + (P(a?x) / P(x)) = 1 根据全概率公式，我们有： P(a;x) + P(a?x) = P(x) 所以，我们可以得到： (P(a;x) / P(x)) + (P(a?x) / P(x)) = 1 (P(a;x) + P(a?x)) / P(x) = 1 P(x) / P(x) = 1 因此，P(a;|x)+P(a?|x)=1成立。 2.分别写出两种情况下的贝叶斯最小错误率判别规则： (1)两类情况，且p(x|q)=p(x|a?)。 (2)两类情况，且p(ax)=p(a?)。 答：接下来，我们根据两类情况下的贝叶斯最小错误率判别规则来计算： 对于两类情况，且p(x|q)=p(x|a?)，我们有： P(0.4*|x) = 0.38 P(0.6*|x) = 0.62 最小错误率判别规则为：如果p(0.4*|x) p(0.6*|x)，则判定为0.4类；否则判定为0.6类。 此时的错误率为：0.47 对于两类情况，且p(ax)=p(a?)，我们有： P(0.5|x) = 0.5 P(0.5|x) = 0.5 3.两个一维模式类的类概率密度函数如下图所示，假设先验概率相等，用0-1损失函数： (1)导出贝叶斯判别函数。 (2)求出分界点的位置。 (3)判断下列样本各属于哪个类：0,2.5,0.5,2,1.5。 略 4.试写出两类情况下的贝叶斯最小风险判别规则及其判别函数和决策面方程，证明该判别规则可以表示为 略 略 6.对属于两个类的一维模式，每个类都是正态分布的，且两个类的均值分别是=0和H?=2,均方差分别是σ?=2和σ?=2,先验概率相等，使用0-1损失函数，绘出类概率密度函数及判别边界；若已得到样本-3,-2,1,3,5,试判断它们各属于哪个类。 答：为了解决这个问题，我们可以使用高斯朴素贝叶斯分类器。给定两个类 $C_1$ 和 $C_2$，每个类都是正态分布的，我们可以使用以下公式来表示类条件概率密度函数和类条件概率密度函数： $p(x|C_1) = N(0,2)$ $p(x|C_2) = N(2,2)$ 其中 $N(\mu, \sigma^2)$ 表示均值为 $\mu$，方差为 $\sigma^2$ 的正态分布。 接下来，我们需要计算先验概率 $P(C_1)$ 和 $P(C_2)$。由于题目中说两个类的先验概率相等，因此： $P(C_1) = P(C_2) = 0.5$ 最后，我们需要计算后验概率 $P(C_i|x)$，并选择最大的后验概率作为样本 $x$ 的类别。 现在，我们根据题目中给出的样本值 $-3, -2, 1, 3, 5$，分别计算它们属于哪个类。 样本 $-3$ 的后验概率如下： $P(C_1|-3) = 0.5 \times \frac{1}{\sqrt{2\pi}} \int_{-3}^{0} e^{-\frac{(x-0)^2}{2\times2}} dx = 0.5 \times 0.0466 = 0.0233$ $P(C_2|-3) = 0.5 \times \frac{1}{\sqrt{2\pi}} \int_{-3}^{0} e^{-\frac{(x-2)^2}{2\times2}} dx = 0.5 \times 0.0466 = 0.0233$ 因为 $P(C_1|-3) = P(C_2|-3)$，所以样本 $-3$ 无法确定属于哪个类。 样本 $-2$ 的后验概率如下： $P(C_1|-2) = 0.5 \times \frac{1}{\sqrt{2\pi}} \int_{-2}^{0} e^{-\frac{(x-0)^2}{2\times2}} dx = 0.5 \times 0.1354 = 0.0677$ $P(C_2|-2) = 0.5 \times \frac{1}{\sqrt{2\pi}} \int_{-2}^{0} e^{-\frac{(x-2)^2}{2\times2}} dx = 0.5 \times 0.1354 = 0.0677$ 因为 $P(C_1|-2) = P(C_2|-2)$，所以样本 $-2$ 无法确定