【模式识别与人工智能】34-第五章-第二节-决策树-划分选择.pptxVIP

第五章决策树-划分选择模式识别与人工智能授课教师：栾声扬汇报人：何紫齐

CONTENTS信息增益与增益率1基尼系数2

PART01信息增益与增益率

5.2.1信息增益与增益率第二节划分选择划分选择决策树学习的关键是如何选择最优划分属性。一般而言，随着划分过程不断进行，我们希望决策树的分支结点所包含的样本尽可能属于同一类别，即结点的“纯度”（Purity）越来越高。基于此引入了信息增益与增益率、基尼系数这几个指标，来选择合适的属性，对样本进行划分，使其具有较高的结点“纯度”。

5.2.1信息增益与增益率信息熵“信息熵”（InformationEntropy）,是度量样本集合纯度最常用的一种指标。假定当前样本集合中第类样本所占的比例为，其中，则的信息熵定义为的值越小，则的纯度越高。需要注意的是，在计算过程中，若，则。的最小值为0，最大值为。第二节划分选择

5.2.1信息增益与增益率信息增益（InformationGain）假定离散属