黄海广04机器学习-朴素贝叶斯.pdfVIP

1 机器学习-第四章 朴素贝叶斯 黄海广 副教授 2022年02月 本章目录 2 01 贝叶斯方法 02 朴素贝叶斯原理 03 朴素贝叶斯案例 04 朴素贝叶斯代码实现 1.贝叶斯方法 3 01 贝叶斯方法 02 朴素贝叶斯原理 03 朴素贝叶斯案例 04 朴素贝叶斯代码实现 1.贝叶斯方法-背景知识 4 贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为 贝叶斯分类： 基础，故统称为贝叶斯分类。 先验概率： 根据以往经验和分析得到的概率。我们用()来代表在没有训练 数据前假设拥有的初始概率。 后验概率： 根据已经发生的事件来分析得到的概率。以(|)代表假设 成 立的情下观察到数据的概率 ，因为它反映了在看到训练数据 后成立的置信度。 1.贝叶斯方法-背景知识 5 联合概率： 联合概率是指在多元的概率分布中多个随机变量分别满足各自条 件的概率。与的联合概率表示为 , 、 () 或( ∩) 。 假设和都服从正态分布，那么( 5, 0)就是一个联合概 率，表示 5, 0两个条件同时成立的概率。表示两个事件 共同发生的概率。 1. 贝叶斯方法 6 贝叶斯公式 后验概率 似然度 先验概率 (,) (|)() (|) = = () () 边际似然度 朴素贝叶斯法是典型的生成学习方法。生成方法由训练数据学习联合概率 分布 (,)，然后求得后验概率分布(|)。 具体来说，利用训练数据学习(|)和()的估计，得到联合概率分布： (,) ＝(|) () 2.朴素贝叶斯原理 7 01 贝叶斯方法 02 朴素贝叶斯原理 03 朴素贝叶斯案例 04 朴素贝叶斯代码实现 2.朴素贝叶斯原理 8 判别模型和生成模型 监督学习方法又分 生成方法 （Generative approach）和判别方法 （Discriminative approach） 所学到的模型分别称为 生成模型 （Generative Model）和判别模型 （Discriminative Model)。 判别模型（Discriminative Model) 生成模型（Generative Model） 由数据直接学习决策函数Y=f(X)或者条件概率分 由训练数据学习联合概率分布 (,)，然后求 布P(Y|X)作为预测的模型，即判别模型。基本思