周志华版《机器学习》第十四章 课后习题参考解答.pdfVIP

周志华《机器学习》第十四章课后习题

参考解答

14.1用盘式记法表示条件随机场（CRF）与朴素贝叶斯（NB）分类

器

盘式记法的核心是：圆形节点表示随机变量（观测变量用灰色，隐变量用白色），矩形节点表

示因子函数，虚线框（盘子）表示重复结构（标注重复次数或变量范围），箭头表示变量依赖

关系。

1.朴素贝叶斯（NB）分类器的盘式记法

（1）模型结构与变量定义

•隐变量：类标签y（取值\{1,2,...,C\}，C为类别数）；

•观测变量：样本特征x_1,x_2,...,x_d（d为特征数，NB假设特征条件独立于类标签）；

•因子函数：

◦类先验因子\phi(y)P(y)（依赖类变量y）；

◦特征条件因子\phi(y,x_j)P(x_j|y)（依赖类变量y和特征x_j，因特征独立，无跨特

征因子）。

（2）盘式记法图示

[y]→矩形因子1：φ(y)P(y)

↑

|

j1dd

盘子：到（重复次特征结构）

┌─────────────┐

│[x_j]→矩形因子2：φ(y,x_j)P(x_j|y)│

└─────────────┘

•解释：盘子内是特征x_j与因子\phi(y,x_j)的重复结构（共d个），所有特征x_j均依赖类

变量y，但特征间无依赖（无跨特征因子），体现NB的“特征条件独立”假设。

线性链条件随机场（）的盘式记法

2.Linear-ChainCRF

（1）模型结构与变量定义

CRF为判别式模型，用于序列标注（如自然语言处理的词性标注），核心是观测序列依赖隐“

状态序列，隐状态序列满足马尔可夫性”：

•y_1,y_2,...,y_nn

隐变量：状态序列（为序列长度，如句子中词的个数）；

•观测变量：观测序列x_1,x_2,...,x_n（如每个词的文本特征）；

•因子函数：

◦状态转移因子\phi(y_{i-1},y_i)P(y_i|y_{i-1},\boldsymbol{x})（依赖相邻状态y_{i-1},

y_i，与全局观测\boldsymbol{x}相关）；

◦\phi(y_i,x_i)P(x_i|y_i)y_ix_i

观测依赖因子（依赖当前状态和当前观测）。

（2）盘式记法图示

i1nn

盘子：到（重复次序列结构）

┌─────────────────────────────────────┐

│[y_{i-1}]→矩形因子1：φ(y_{i-1},y_i)│（i≥2，i1时无y_{0}）

│↓│

│[y_i]→矩形因子2：φ(y_i,x_i)│

│↓│

│[x_i]（观测变量，灰色）│

└─────────────────────────────────────┘

•解释：盘子内是序列第i个位置的“状态-观测”结构（共n个），每个状态y_i依赖前一状

态y_{i-1}（转移因子）和当前观测x_i（观测因子），体现线性链CRF的“局部依赖”特

性。

14.2证明图模型的局部马尔可夫性

1.前提定义（以无向图模型——马尔可夫随机场为例）

•无向图：节点V表示随机变量\boldsymbol{z}\{z_v|v\inV\}，边E表示变量间的依赖关

系；

•邻接变量：对节点v，其邻接节点集记为ne(v)（与v有边相连的节点）；

•局部马尔可夫性：对任意节点v\inV，给定邻接变量z_{ne(v)}，z_v与其他所有变量z_{V

\setminus(ne(v)\cup\{v\})}条件独立，即：

P(z_v|z_{ne(v)},z_{V\setminus(ne(v)\cup\{v\})})P(z_v|z_{ne(v)})

2.证明过程（基于马尔可夫随机场的因子分解性