周志华版《机器学习》第四章 课后习题参考解答.pdfVIP

周志华版《机器学习》第四章课后习题

参考解答

4.1不含冲突数据的训练集必存在训练误差为0的决策树（证明）

解题思路

决策树的核心是递归划分属性，使每个叶节点对应类别一致的样本子集。不含冲突数据（即“”

无“特征向量相同但标签不同”的样本）意味着：任意样本子集的特征与标签存在“单射关

”0

联，可通过逐步划分属性消除类别歧义，最终实现训练误差为。

详细解答

1.基础定义与前提

•不含冲突数据：对任意两个样本\boldsymbol{x}_i,\boldsymbol{x}_j，若\boldsymbol{x}_i

\boldsymbol{x}_j，则y_iy_j（特征相同→标签相同）；

•训练误差为0：决策树的每个叶节点仅包含单一类别样本（对所有训练样本，预测标签

真实标签）。

2.归纳法证明

m

采用数学归纳法，以样本数为归纳变量：

（1）基础情形（m1或所有样本类别相同）

•若训练集仅1个样本，或所有样本标签一致（如全为“好瓜”），直接构造一个叶节点（标

签为该类别），训练误差为0，结论成立。

（2）归纳假设（样本数mk时结论成立）

k0

假设当训练集样本数小于时，必存在训练误差为的决策树。

（3）归纳步骤（样本数mk时结论成立）

当训练集含k个样本且类别不唯一时：

•步骤1：选择候选划分属性

由于类别不唯一，且无冲突数据，必存在至少一个属性a（非冗余属性），其不同取值对应不

同的样本子集，且至少两个子集包含不同类别的样本（否则所有样本可通过该属性直接划分到

单一类别）。

•步骤2：按属性划分样本

设属性a的取值为\{v_1,v_2,...,v_V\}，划分后得到子集D_1,D_2,...,D_V（D_v

\{\boldsymbol{x}\inD\mid\boldsymbol{x}(a)v\}）。

由于无冲突数据，每个子集D_v的样本数|D_v|k（否则属性a无划分意义），且每个D_v

内仍无冲突数据（继承父集性质）。

•步骤3：递归构造子树

根据归纳假设，对每个子集D_v，必存在训练误差为0的子树。将这些子树作为属性a对应

取值的分支，得到完整决策树。

•步骤4：验证训练误差

该决策树的每个叶节点对应某子集D_v的子树叶节点（类别唯一），因此所有训练样本的预

测标签真实标签，训练误差为0。

3.结论

0

由归纳法可知，对任意不含冲突数据的训练集，必存在训练误差为的决策树。

4.2“最小训练误差”作为划分选择准则的缺陷

解题思路

“最小训练误差的核心是让划分后训练集的分类错误最少，但该准则仅关注训练数据拟合”“”

度，忽略泛化能力与分类有效性，存在三大关键缺陷。

详细解答

1.缺陷1：极易导致过拟合

•原理：训练误差最小化会迫使决策树“过度贴合训练数据”，包括训练集中的噪声和冗余信

息，导致模型复杂度远超最优泛化水平。

•示例：若训练集中某样本的“色泽浅白”是噪声（实际浅白瓜多为坏瓜，但该样本是好

瓜），选择“色泽浅白”作为划分属性（使该样本单独成叶节点，训练误差减少1），但

测试集中“色泽浅白”的样本仍为坏瓜，导致测试误差显著升高。

•极端情况：若选择“样本编号”作为划分属性（每个编号对应1个样本），可使每个叶节点

仅含1个样本，训练误差0，但模型完全无泛化能力（无法预测新样本）。

2.缺陷2：类别不平衡时的“偏置选择”

•原理：当训练集类别不平衡（如90%为好瓜，10%为坏瓜），最小训练误差会优先选“”

择将多数类样本归为同一子集的划分，忽略少数类的分类准确性。“”

•av_190%10%v_210%

示例：某划分属性的取值对应好瓜（坏瓜），取值对应好瓜