周志华版《机器学习》第五章 知识点笔记.pdfVIP

周志华版《机器学习》第五章知识点笔记

核心主题：决策树（DecisionTree）

——一种可解释性强、适用于分类与回归任务的树形结构模型，核心是“分而治之”，通过递

归划分特征空间生成决策规则。

5.1决策树的基本概念与结构

5.1.1定义与核心思想

决策树是一种树形预测模型，以样本特征为内部节点判断条件，以类别回归值为叶节“”“/”

点输出结果，通过递归划分训练数据，使每个子数据集尽可能“纯”（同类样本占比高）。

核心思想：将高维特征空间按特征取值逐步拆分，形成与类别回归值对应的低维子空间，最/

终每个子空间对应一个明确的预测结果。

5.1.2树形结构组成

节点类型功能描述

Root

根节点（）包含全部训练样本，是决

策树的起点，需选择第一

个划分特征

Internal“”

内部节点（）对应特征判断条件（如

“色泽青绿？”“含糖率

0.5？”），将父节点样本

划分为子节点

叶节点（Leaf）无子节点，输出预测结果

（分类任务为类别，回归

任务为连续值）

Branch

分支（）连接父节点与子节点，对

应特征的某一取值（如

“色泽青绿分支、色泽”“

乌黑”分支）

5.1.3决策树学习的目标

从训练数据中归纳出可读性强的决策规则，同时最小化泛化误差——既要保证训练数据的划

分精度，又要避免过拟合（如树过深导致对噪声敏感）。

5.2决策树的构建三步骤

决策树学习的核心流程：特征选择→决策树生成→剪枝，三者环环相扣，共同决定模型性

能。

5.2.1第一步：特征选择（关键——选“最能区分样本”的特征）

特征选择的本质是衡量“特征对样本纯度的提升能力”，纯度越高（同类样本占比越高），划分

效果越好。常用纯度度量指标有三种，对应不同的决策树算法：

（）信息熵与信息增益（算法核心指标）

1ID3

•信息熵（Entropy）：衡量样本集合的“不确定性”，熵越大，不确定性越高（纯度越

低）。

对样本集D（含k类样本，第k类样本数为|C_k|，总样本数|D|），信息熵定义为：

H(D)-\sum_{k1}^{K}\frac{|C_k|}{|D|}\log_2\frac{|C_k|}{|D|}

特殊情况：若所有样本属于同一类（纯集合），H(D)0；若两类样本各占50%，H(D)1（不

确定性最大）。

•ConditionalEntropyAD

条件熵（）：已知特征的取值后，样本集的不确定性（纯

度）。

AV\{a_1,a_2,...,a_V\}AVD_1,D_2,...,D_V

特征有个取值，按划分后得到个子集，条件熵

为：

H(D|A)\sum_{v1}^{V}\frac{|D_v|}{|D|}H(D_v)

•InformationGainA

信息增益（）：特征划分后，信息熵的减少量（即纯度提升量），增

益越大，特征区分能力越强。

定义为：

g(D,A)H(D)-H(D|A)

•ID3算法特征选择逻辑：对所有候选特征，计算其信息增益，选择增益最大的特征作为当

前节点的划分特