周志华版《机器学习》第三章 课后习题参考解答.pdfVIP

周志华版《机器学习》第三章课后习题

参考解答

3.1式(3.2)无需考虑偏置项b的情形分析

解题思路

式(3.2)为线性模型基本形式：f(\boldsymbol{x})\boldsymbol{w}^T\boldsymbol{x}+b，其

中b为偏置项（截距），作用是补偿特征与输出间的“基准偏移”。当数据满足特征中心化或模

b

型隐含基准偏移时，可省略。

详细解答

1.核心原理：偏置项的本质作用

偏置项b的物理意义是“当所有特征\boldsymbol{x}\boldsymbol{0}时的输出基准值”。若数

“”b

据预处理后消除了基准偏移，则的作用可被特征自身的统计特性覆盖，无需单独建模。

2.关键情形：特征中心化

x_j

对所有特征维度进行中心化处理（减去该维度的均值）：

x_jx_j-\bar{x}_j,\quad\bar{x}_j\frac{1}{m}\sum_{i1}^mx_{ij}

此时特征矩阵\boldsymbol{X}的列均值均为0，代入线性模型：

f(\boldsymbol{x})\boldsymbol{w}^T\boldsymbol{x}+b\boldsymbol{w}^T

(\boldsymbol{x}-\bar{\boldsymbol{x}})+b\boldsymbol{w}^T\boldsymbol{x}+(b-

\boldsymbol{w}^T\bar{\boldsymbol{x}})

令bb-\boldsymbol{w}^T\bar{\boldsymbol{x}}，则模型可改写为f(\boldsymbol{x})

\boldsymbol{w}^T\boldsymbol{x}+b。若直接将b合并到\boldsymbol{w}中（如引入“虚拟特

征x_01”，则\boldsymbol{w}[b,\boldsymbol{w}]^T，\boldsymbol{x}[1,

\boldsymbol{x}]^T），此时原偏置项b被“虚拟特征+扩展权重”替代，无需单独考虑。

1.其他情形：输出基准已知

若任务中输出的“基准值”已知（如预测温度时，基准为0℃，且特征已标准化到以0为中

心），则b0，可直接省略。

3.2对率回归目标函数与对数似然函数的凸性证明

解题思路

•式(3.18)：对率回归的原始目标函数（通常为非凸，如基于残差的损失）；

•式(3.27)：对率回归的对数似然函数（凸函数，可通过Hessian矩阵正定性证明）。

凸性判断核心：函数的二阶导数（或Hessian矩阵）是否半正定。

详细解答

（1）明确函数形式

对率回归模型：y\sigma(\boldsymbol{w}^T\boldsymbol{x}+b)，其中\sigma(z)

\frac{1}{1+e^{-z}}（Sigmoid函数）。

•式(3.18)（非凸目标函数）：若为“最小化负对数似然的原始形式”或“残差平方和”，此处

以残差平方和为例（教材中对率回归不采用此损失，但可说明非凸性）：

L_1(\boldsymbol{w},b)\sum_{i1}^m\left(y_i-\sigma(\boldsymbol{w}^T

\boldsymbol{x}_i+b)\right)^2

•式(3.27)（对数似然函数）：二分类对率回归的最大化对数似然函数（取负后为凸损

失）：

L_2(\boldsymbol{w},b)\sum_{i1}^m\left[y_i\ln\sigma(z_i)+(1-y_i)\ln(1-

\sigma(z_i))\right],\quadz_i\boldsymbol{w}^T\boldsymbol{x}_i+b

（2）证明L_1(\boldsymbol{w},b)非凸

取简化情形：单特征x，b0，则L_1(w)\sum_{i1}^m(y_i-\sigma(wx_i))^2。

计算二阶导数：

•一阶导数：\frac{dL_1}{dw}-2\sum_{i1}^m(y_i-\sigma(wx_i))\sigma(wx_i)(1-

\sigma(wx_i))x_i

•二阶导数：\frac{d^2L_1}{dw^2}包含\sigma(z)(1-\sigma(z))(1-2\s