(43)--第二章 贝叶斯决策理论模式识别.pdfVIP

贝叶斯决策基础知识

基于最小错误率的贝叶斯决策

基于最小风险的贝叶斯决策

贝叶斯分类器设计

正态分布时的统计决策

代码演

【引言】

问题一：工科院校的男生和女生的比例为3：1，在不知学生

个人信息的情况下，如何预测某个学生的性别？

问题二：再给出某个学生的身高和体重，身高180cm，体重

70kg，如何来预测学生的性别？

PxP

ii

Px

i

Px



贝叶斯决策基础知识

【基本概念】

•先验概率：P

i

预先已知的或者可以估计的模式识别系统位于某种类

型的概率。根据大量统计确定某类事物出现的比例。

如P(男生)

•类条件概率：Px

i

类别状态为w时，样本x出现的概率密度。

i

•全概率：P(x)

样本x在所有类别里出现的概率之和，也称为x的全概率

在两类问题情况下:p（x）=∑p(x|w)P(w),j=1,2

jj

后验概率：Px

i

一个具体事物属于某种类别的概率.

后验概率涉及一个具体事物，而先验概率是泛指一类

事物，因此P(男生|X)P(男生)是两个不同的概念。

【贝叶斯公式】

PD|wPw

ii

Pw|Di

PD



贝叶斯公式的两个创新点：

（1）用概率表示所有形式的不确定性；

（2）

引入了“先验”与“后验”的概念；

贝叶斯公式由于其权威性、一致性和典雅性而被列

入最优美的数学公式之一；

由贝叶斯公式衍生出贝叶斯决策、贝叶斯估计、贝

叶斯学习等诸多理论体系，进而形成一个贝叶斯学派。

【分类错误率】

x

分类方案一分类方案二

任何一种决策都可能会有错误，二分类情况下：

决策为w类，则犯错误的概率为

1



P(error)=1-P(w|x）=P(w|x)Px,当PxPx

12121