周志华版《机器学习》第十二章 课后习题参考解答.pdfVIP

周志华《机器学习》第十二章课后习题

参考解答

12.1证明Jensen不等式（12.4）

1.前置定义（凸函数与Jensen不等式形式）

•凸函数定义：设函数f:\mathbb{R}^n\to\mathbb{R}为凸函数，若对任意\boldsymbol{x}_1,

\boldsymbol{x}_2\in\mathbb{R}^n及\lambda\in[0,1]，满足：

f(\lambda\boldsymbol{x}_1+(1-\lambda)\boldsymbol{x}_2)\leq\lambda

f(\boldsymbol{x}_1)+(1-\lambda)f(\boldsymbol{x}_2)

若为严格凸函数，等号仅当f\boldsymbol{x}_1\boldsymbol{x}_2时成立。

•Jensen12.4f\boldsymbol{x}_1,\boldsymbol{x}_2,...,

不等式（）：对凸函数，任意样本

\boldsymbol{x}_m\in\mathbb{R}^n及权重\lambda_1,\lambda_2,...,\lambda_m\in[0,1]

（满足\sum_{i1}^m\lambda_i1），有：

f\left(\sum_{i1}^m\lambda_i\boldsymbol{x}_i\right)\leq\sum_{i1}^m\lambda_i

f(\boldsymbol{x}_i)

2.证明过程（数学归纳法）

步骤1：基础情况（m2）

由凸函数的定义，当m2时，不等式直接成立：

f(\lambda_1\boldsymbol{x}_1+\lambda_2\boldsymbol{x}_2)\leq\lambda_1

f(\boldsymbol{x}_1)+\lambda_2f(\boldsymbol{x}_2)

其中\lambda_1+\lambda_21，等号成立条件与凸函数定义一致。

步骤2：归纳假设（假设mk时成立）

假设对任意k个样本及权重\lambda_1,...,\lambda_k（\sum_{i1}^k\lambda_i1），不等式

成立：

f\left(\sum_{i1}^k\lambda_i\boldsymbol{x}_i\right)\leq\sum_{i1}^k\lambda_i

f(\boldsymbol{x}_i)

步骤3：归纳递推（证明mk+1时成立）

考虑k+1个样本\boldsymbol{x}_1,...,\boldsymbol{x}_{k+1}及权重\lambda_1,...,

\lambda_{k+1}（\sum_{i1}^{k+1}\lambda_i1），令：

\mu\sum_{i1}^k\lambda_i,\quad\gamma_i\frac{\lambda_i}{\mu}\quad(i1,...,k)

则\sum_{i1}^k\gamma_i1，且\lambda_{k+1}1-\mu。将加权和拆分为两部分：

\sum_{i1}^{k+1}\lambda_i\boldsymbol{x}_i\mu\cdot\sum_{i1}^k\gamma_i

\boldsymbol{x}_i+(1-\mu)\cdot\boldsymbol{x}_{k+1}

m2

由凸函数定义（情况），对上述两部分应用不等式：

f\left(\mu\cdot\sum_{i1}^k\gamma_i\boldsymbol{x}_i+(1-\mu)\cdot

\boldsymbol{x}_{k+1}\right)\leq\mu\cdotf\left(\sum_{i1}^k\gamma_i\boldsymbol{x}_i

\right)+(1-\mu)\cdotf(\boldsymbol{x}_{k+1})

mkf\left(\sum_{i1}^k\gamma_i\boldsymbol{x}_i\right)\leq

再由归纳假设（情况），

\sum_{i1}^k\gamma_if(\boldsymbol{x}_i)，代入得：

\text{左边}\leq\mu\cdot\sum_{i1}^k\gamma_if(\boldsymbo