周志华版《机器学习》第七章 知识点笔记.pdfVIP

周志华版《机器学习》第七章知识点笔记

核心主题：贝叶斯分类器（朴素贝叶斯、半朴素贝叶斯、贝叶斯网络）

一、贝叶斯决策论：理论基础

1.1核心思想

“”

贝叶斯决策论是基于后验概率进行决策的统计学习框架，目标是通过概率建模最小化决策

风险（或错误率）。其核心逻辑是：对样本\boldsymbol{x}，计算其属于每个类别的后验概率

P(c|\boldsymbol{x})，选择后验概率最大的类别作为决策结果。

1.2关键概率概念（贝叶斯公式）

后验概率P(c|\boldsymbol{x})无法直接观测，需通过贝叶斯公式转化为可计算的先验概率和

类条件概率：

P(c|\boldsymbol{x})\frac{P(\boldsymbol{x}|c)P(c)}{P(\boldsymbol{x})}

各概率含义：

•P(c)——c“”

：先验概率（类先验）类别在训练集中的出现频率（如好瓜占总样本的比

例），反映类别本身的普遍性。

•P(\boldsymbol{x}|c)：类条件概率（似然）——类别c中出现样本\boldsymbol{x}的概

率，描述类别c的特征分布（如“好瓜”中“色泽青绿”的概率）。

•P(\boldsymbol{x})：证据因子——样本\boldsymbol{x}在所有类别中的边际概率，仅与

\boldsymbol{x}相关，对所有类别是常数，计算后验时可忽略（仅需比较分子）。

1.3决策规则（以最小错误率为例）

0-110“

在损失函数（分类错误损失为，正确为）下，最优决策规则是选择后验概率最大的

类别”，即：

c^*\arg\max_{c\in\mathcal{Y}}P(c|\boldsymbol{x})

此时决策错误率最小，称为“最小错误率决策”。

若损失函数非0-1（如“将好瓜误判为坏瓜”的损失大于“坏瓜误判为好瓜”），则需最小化条件

风险：

R(c|\boldsymbol{x})\sum_{c\in\mathcal{Y}}\lambda(c,c)P(c|\boldsymbol{x})

\lambda(c,c)ccc^*\arg\min_{c\in

其中是将真实类别判为的损失，决策规则变为

\mathcal{Y}}R(c|\boldsymbol{x})。

二、朴素贝叶斯分类器：简化的贝叶斯模型

2.1核心假设：特征条件独立

NaiveBayes,NB**“”**

朴素贝叶斯（）通过特征条件独立假设降低计算复杂度：给定类别

c，所有特征x_1,x_2,...,x_d相互独立，即：

P(\boldsymbol{x}|c)\prod_{i1}^dP(x_i|c)

该假设忽略特征间的依赖关系，使类条件概率的计算从“指数级复杂度”降至“线性级复杂

度，可操作性大幅提升。”

2.2算法步骤（以离散特征为例）

步骤1：计算先验概率P(c)

c

通过训练集中类别的样本频率估计（加拉普拉斯平滑避免零概率）：

P(c)\frac{\text{类别}c\text{的样本数}+\alpha}{\text{总样本数}+\alpha\cdot|\mathcal{Y}|}

•\alpha\geq0\alpha1“”\alpha0

：平滑系数，时为拉普拉斯平滑，时为极大似然估计；

•|\mathcal{Y}|“”“”2

：类别总数（如好瓜坏瓜共类）。

步骤2：计算类条件概率P(x_i|c)

对离散特征x_i（如“色泽青绿”“根蒂蜷缩”），同样用频率估计（加拉普拉斯平滑）：

P(x_iv|c)\frac{\text{}