周志华版《机器学习》第八章 课后习题参考解答.pdfVIP

周志华版《机器学习》第八章集成学习

课后习题参考解答

8.1式(8.3)推导（基于Hoefding不等式）

前提与符号定义

1.式(8.3)背景：教材中式(8.3)为二分类集成学习的错误率上界，假设条件：

◦基学习器独立，输出空间为\{-1,+1\}（二分类）；

◦每个基学习器的错误率为\epsilon（即P(h_i(\boldsymbol{x})\neqf(\boldsymbol{x}))

\epsilon，f(\boldsymbol{x})为真实函数）；

◦集成通过简单多数投票决策：H(\boldsymbol{x})\text{sign}\left(\sum_{i1}^T

h_i(\boldsymbol{x})\right)，集成错误率\epsilon_{\text{ens}}P(H(\boldsymbol{x})

\neqf(\boldsymbol{x}))。

1.题目给定条件：

◦抛硬币正面概率p（对应基学习器预测正确的概率1-\epsilon），反面概率1-p（对应

错误概率\epsilon）；

◦H(n)为n次抛硬币正面数，P(H(n)\leq(p-\delta)n)\leqe^{-2\delta^2n}（Hoefding不

等式）。

推导步骤

步骤1：关联集成错误率与抛硬币模型

对任意样本\boldsymbol{x}，设集成中T个基学习器的预测结果为h_1(\boldsymbol{x}),...,

h_T(\boldsymbol{x})：

•定义“正确预测次数”：C\sum_{i1}^T\mathbb{I}(h_i(\boldsymbol{x})

f(\boldsymbol{x}))（\mathbb{I}为指示函数，正确为1，错误为0）；

•≤C\leq\frac{T}{2}

多数投票错误的充要条件：正确预测次数错误预测次数，即（因总次数

TC+(T-C)，错误次数为T-C）。

由基学习器错误率\epsilon可知：P(h_i(\boldsymbol{x})f(\boldsymbol{x}))1-\epsilon，即

C服从二项分布C\sim\text{Binomial}(T,1-\epsilon)（对应抛硬币T次，正面概率p1-

\epsilon）。

步骤2：应用Hoefding不等式

集成错误率可表示为：

\epsilon_{\text{ens}}P\left(C\leq\frac{T}{2}\right)

将二项分布与Hoefding不等式关联：

•令nT（抛硬币次数），p1-\epsilon（正面概率），需将C\leq\frac{T}{2}改写为C\leq

(p-\delta)T的形式，求解\delta：

(p-\delta)T\frac{T}{2}\implies\deltap-\frac{1}{2}(1-\epsilon)-\frac{1}{2}

\frac{1}{2}-\epsilon

（注：需满足\epsilon\frac{1}{2}，即基学习器性能优于随机猜测，否则集成无意义）。

步骤3：代入Hoefding不等式求上界

将\delta\frac{1}{2}-\epsilon代入题目给定的Hoefding不等式：

P\left(C\leq(p-\delta)T\right)\leqe^{-2\delta^2T}

替换后得到集成错误率上界：

\epsilon_{\text{ens}}P\left(C\leq\frac{T}{2}\right)\leqe^{-2\left(\frac{1}{2}-

\epsilon\right)^2T}

此即教材中式(8.3)，核心结论：当基学习器独立且优于随机猜测时，集成错误率随基学习器

数量指数下降。

8.2一致替代损失函数证明（0/1损失）

核心定义

1.0/1损失函数：衡量分类错误，定义为

\ell_{0/1}(H(\boldsymbol{x}),f(\boldsymbol{x}))\mathbb{I}(H(\boldsymbol{x})\neq

f(\boldsymbol{x}))\b