贝叶斯决策理论在机器学习多分类任务中应用与实例分析.pdfVIP

本章机器学习部分我们主要关注生成式模型，并重点介绍生成式模型中简单又经典

的朴素贝叶斯算法。在介绍朴素贝叶斯算法之前，我们先讲解理解该部分内容所需的概率

统计基础知识。本章概率统计部分我们主要参考了[2,3,4]，机器学习部分主要参考

了[1,5,6]。如果大家不满足于基础知识且有进一步了解，可至参考文献相关章节进

一步学习。

2概率与统计的区别和联系

概率论从随机现象的角度来刻画与研究不确定性，它是统计推断的基础。在概率论中，

我们研究的基本问题可简要概括为：给定数据的生成过程，其输出结果具有什么样的性

质？统计推断的基本问题可看成是概率论的反向思维：给定输出结果，能得出关于数据生成

过程什么样的性质？如图1所示[3]。另外，概率论是统计推断的基础，例如，概率论中的大数

定律、极限定理等保证了统计推断的合理性。

图1:概率论与统计推断的关系简要示意图[3]

以从不透明的袋子里摸球为例，概率论：知道这个袋子里几个黑球、几个白球，然后

计算摸出来的球是白球的概率；统计推断：看得到每次摸出来的是黑球还是白球，然后需

要推断这个不透明袋子里面球的构成，即黑、白球的比例。

3概率的定义，随机

3.1概率的基本定义

在概率论发展史上，曾有过概率的