周志华版《机器学习》第十五章 课后习题参考解答.pdfVIP

周志华《机器学习》第十五章课后习题

参考解答

15.1基于自顶向下策略学习西瓜数据集2.0的命题规则集

1.数据集与核心概念

•2.04.1106“”4“”4

西瓜数据集（表）：个样本（正例好瓜是，负例好瓜否），个离

散特征（色泽：青绿/乌黑/浅白；根蒂：蜷缩/稍蜷/硬挺；敲声：浊响/沉闷/清脆；

纹理：清晰稍糊模糊）。//

•自顶向下策略：从最一般规则（仅含目标谓词）开始，逐步添加文字（特征-值对或否定

形式）约束，通过特化缩小规则覆盖范围，直至规则仅覆盖正例（或满足终止条件），“”

采用序贯覆盖：学完一条规则后移除其覆盖的正例，重复至无正例剩余。“”

2.具体学习步骤

步骤1：初始化正例集与规则集

•初始正例集P\{1,2,3,4,5,6\}（好瓜样本编号），负例集N\{7,8,9,10\}，规则集R

\emptyset。

步骤2：学习第一条规则（目标：覆盖尽可能多正例，无负例）

•r_1^0←

初始规则：：好瓜（最一般规则，覆盖所有样本）。

•计算所有可能“文字”的信息增益（或“准确率提升”），选择最优文字加入规则（允许否定

“¬”

文字，如色泽浅白）：

◦候选文字：色泽青绿、色泽乌黑、¬色泽浅白、根蒂蜷缩、敲声浊响等。

◦“¬”{1,2,3,4,6}5{7,8}2

计算色泽浅白：覆盖正例（个），负例（个），准确率

5/(5+2)≈71.4%；

◦计算“根蒂蜷缩”：覆盖正例{1,2,3,4,5}（5个），负例{7}（1个），准确率

5/6≈83.3%（最优）。

•加入“根蒂蜷缩”，规则变为r_1^1：好瓜←根蒂蜷缩。

•继续添加文字优化：计算“根蒂蜷缩”基础上的候选文字，如“敲声浊响”：覆盖正例

{1,2,3,5}（4个），负例{7}（1个），准确率4/580%；“纹理清晰”：覆盖正例

{1,2,3,4}（4个），负例0（仅覆盖正例），准确率100%（最优）。

•r_1←{1,2,3,4}

最终第一条规则：：好瓜根蒂蜷缩∧纹理清晰（覆盖正例，无负

例）。

•移除覆盖的正例，更新P\{5,6\}，R\{r_1\}。

步骤3：学习第二条规则

•初始规则：r_2^0：好瓜←（覆盖P\{5,6\}，N\{7,8,9,10\}）。

•选择最优文字：“色泽乌黑”（覆盖正例{5,6}，负例{8,10}（2个），准确率

2/450%）；“敲声沉闷”（覆盖正例{6}（1个），负例{9}（1个），准确率50%）；

“¬根蒂硬挺”（覆盖正例{5,6}，负例{7,8,10}（3个），准确率2/540%）。

•进一步添加文字：“色泽乌黑∧敲声沉闷”（覆盖正例{6}，负例0，准确率

100%r_2^1←{6}

），规则为：好瓜色泽乌黑∧敲声沉闷（覆盖正例）。

•剩余正例P\{5\}，更新R\{r_1,r_2\}。

步骤4：学习第三条规则

•{5}r_3

针对正例（色泽青绿，根蒂稍蜷，敲声浊响，纹理稍糊），生成规则：：

好瓜←色泽青绿∧根蒂稍蜷∧纹理稍糊（仅覆盖正例{5}，无负例）。

•此时P\emptyset，学习终止。

3.最终命题规则集

R\left\{\begin{aligned}r_1:好瓜