周志华版《机器学习》第十三章 课后习题参考解答.pdfVIP

周志华《机器学习》第十三章课后习题

参考解答

13.1推导式(13.5)~(13.8)（生成式半监督高斯混合模型）

1.前提与符号定义

•数据集：有标记样本L\{(\boldsymbol{x}_1,y_1),...,(\boldsymbol{x}_l,y_l)\}，无标记样本

U\{\boldsymbol{x}_{l+1},...,\boldsymbol{x}_{l+u}\}，总样本数ml+u；

•模型假设：数据来自高斯混合模型，每个类别c\in\mathcal{Y}对应一个高斯分布

\mathcal{N}(\boldsymbol{\mu}_c,\Sigma_c)，类别先验为\pi_cP(yc)；

•目标：最大化联合似然P(L,U|\Theta)，其中\Theta\{\pi_c,\boldsymbol{\mu}_c,

\Sigma_c\}_{c\in\mathcal{Y}}。

2.似然函数构建

联合似然函数为有标记样本似然与无标记样本边际似然的乘积：

P(L,U|\Theta)\prod_{(\boldsymbol{x},y)\inL}P(\boldsymbol{x},y|\Theta)\cdot

\prod_{\boldsymbol{x}\inU}P(\boldsymbol{x}|\Theta)

其中：

•有标记样本：P(\boldsymbol{x},yc|\Theta)\pi_c\cdot\mathcal{N}(\boldsymbol{x}|

\boldsymbol{\mu}_c,\Sigma_c)；

•无标记样本：P(\boldsymbol{x}|\Theta)\sum_{c\in\mathcal{Y}}\pi_c\cdot

\mathcal{N}(\boldsymbol{x}|\boldsymbol{\mu}_c,\Sigma_c)（对类别求边际）。

3.EM算法推导（核心步骤）

（1）E步：计算隐变量后验（无标记样本的类别分布）

对无标记样本\boldsymbol{x}\inU，定义隐变量z_{\boldsymbol{x},c}1表示\boldsymbol{x}

属于类别c，后验概率为：

\gamma(z_{\boldsymbol{x},c})P(yc|\boldsymbol{x},\Theta)\frac{\pi_c\cdot

\mathcal{N}(\boldsymbol{x}|\boldsymbol{\mu}_c,\Sigma_c)}{\sum_{c\in\mathcal{Y}}\pi_c

\cdot\mathcal{N}(\boldsymbol{x}|\boldsymbol{\mu}_c,\Sigma_c)}\tag{13.5}

（此即式13.5，对应无标记样本的类别置信度）。

（2）M步：最大化期望似然（更新参数）

期望似然\mathbb{E}[\lnP(L,U,z|\Theta)]的最大化分三个参数：

①类别先验\pi_c（式13.6）

期望似然中\pi_c的贡献项为：

\sum_{(\boldsymbol{x},yc)\inL}\ln\pi_c+\sum_{\boldsymbol{x}\inU}\sum_{c\in

\mathcal{Y}}\gamma(z_{\boldsymbol{x},c})\ln\pi_c

subjectto\sum_{c\in\mathcal{Y}}\pi_c1。

用拉格朗日乘数法求解，得：

\pi_c\frac{1}{m}\left(l_c+\sum_{\boldsymbol{x}\inU}\gamma(z_{\boldsymbol{x},c})

\right)\tag{13.6}

其中l_c|\{(\boldsymbol{x},y)\inL|yc\}|（有标记样本中类别c的数量），分母ml+u为

总样本数。

②均值\boldsymbol{\mu}_c（式13.7）

高斯分布均值的贡献项为：

-\frac{1}{2}\sum_{(\boldsymbol{x},yc)\inL}(\boldsymbol{x}-\boldsymbol{\mu}_c)^T

\Sigma_c^{-1}(\boldsymbol{x}-\boldsymbol{\mu}_c)-\frac{1}{2}\sum_{\boldsymbol{x}\inU}

\gamma(z_{\boldsymbol{