周志华版《机器学习》第十四章 知识点笔记.pdfVIP

周志华版《机器学习》第十四章知识点笔记

核心主题：概率图模型——通过图结构表示变量间的概率依赖关系，实现复杂分布的高效建

模、推断与学习，是不确定性推理的核心框架。

一、概率图模型的基本概念

1.1定义与核心价值

概率图模型（ProbabilisticGraphicalModel,PGM）是一类用图结构表示随机变量间条件独立

性的概率模型。其核心优势在于：

•直观性：用节点表示变量，边表示依赖关系，将高维概率分布的复杂关系可视化；

•高效性：通过条件独立性假设（如父节点已知时，子节点与祖父节点独立），将联合概“”

率分布分解为低维因子乘积，降低计算复杂度；

•通用性：统一框架下涵盖生成式、判别式等多种建模方式，适用于分类、序列标注、推荐

等任务。

1.2联合概率分布的分解

对于变量集X\{X_1,X_2,...,X_n\}，联合概率分布P(X)可基于图结构分解为：

•有向图（贝叶斯网络）：P(X)\prod_{i1}^nP(X_i\mid\text{Pa}(X_i))，其中

\text{Pa}(X_i)X_i

为的父节点集；

•无向图（马尔可夫随机场）：P(X)\frac{1}{Z}\prod_{c\in\mathcal{C}}\psi_c(X_c)，其

中\mathcal{C}为极大团集合，\psi_c为势函数，Z是归一化常数。

二、有向图模型：隐马尔可夫模型（HMM）

2.1模型结构与假设

HMM是用于建模序列数据的有向图模型，包含两类变量：

•隐藏状态Z\{z_1,z_2,...,z_T\}：服从马尔可夫链，满足P(z_t\midz_1,...,z_{t-1})

P(z_t\midz_{t-1})；

•观测变量X\{x_1,x_2,...,x_T\}：仅依赖当前隐藏状态，即P(x_t\midz_1,...,z_t,

x_1,...,x_{t-1})P(x_t\midz_t)。

2.2三大基本问题

1.评估问题：已知模型参数\lambda(\pi,A,B)，计算观测序列的概率P(X\mid\lambda)。

◦解法：前向-后向算法，通过动态规划累计中间概率，避免指数级计算。

▪前向概率：\alpha_t(i)P(x_1,...,x_t,z_ts_i\mid\lambda)

▪后向概率：\beta_t(i)P(x_{t+1},...,x_T\midz_ts_i,\lambda)

1.解码问题：已知模型与观测序列，求最可能的隐藏状态序列Z^*\arg\max_ZP(Z\midX,

\lambda)。

◦解法：Viterbi算法，通过递归计算路径概率最大值，记录最优前驱状态回溯求解。

1.学习问题：已知观测序列，估计模型参数\lambda\arg\max_\lambdaP(X\mid

\lambda)。

◦解法：Baum-Welch算法（EM算法的特例），通过E步计算状态后验概率，M步更

AB\pi

新转移概率、发射概率和初始概率。

2.3应用场景

适用于语音识别、手写体识别、基因序列分析等生成式序列建模任务，但因假设强独立性，难

以捕捉长距离依赖。

三、无向图模型：马尔可夫随机场与条件随机场

3.1马尔可夫随机场（MRF）

结构与独立性

MRFClique

是无向图模型，变量间的依赖关系通过团（）定义（团是最大全连接子图）。其

条件独立性遵循：

•局部马尔可夫性：给定邻居节点时，变量与非邻居节点独立；

•全局马尔可夫性：给定分离集时，两个子图的变量集条件独立。

势函数与能量表示

联合概率分布定义为：

P(X)\frac{1}{Z}\exp\left(-\sum_{c\in\mathcal{C}}E_c(X_c)\right)

其中E_c(X_c)-\log\psi_c(X_c)为能量函数，势函数\psi_c(X_c)\geq0需满足正值性，通

常采用指数族函数（如高斯函数）。

3.2条件随机场（CRF）

判别式建模的突破