原创力文档- 1、本文档共9页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
??
?
??
机器学习中常用的决策树算法技术解析
?
??
?
?
?
?
?
?
?
???
?
?
?
?
?
?
?
本文为大家介绍了机器学习中常用的决策树算法以及相关术语，并基于天气数据集进行决策树算法（ID3、CART算法）实现过程的手动推导。
决策树是最重要的机器学习算法之一，其可被用于分类和回归问题。本文中，我们将介绍分类部分。
什么是决策树？
决策树（DecisionTree）是一个具有树形结构的分类和预测工具，其中的每个内部节点表示对属性的测试，每个分支代表测试的结果，并且每个叶子节点（终端节点）都有一个类别标签。
上图是一个小型决策树。决策树的一个重要优势在于其高度的可解释性。在上图中，如果身高大于180厘米或身高小于180厘米且体重大于80公斤为男性，否则为女性。你是否思考过我们如何得到类似于上图的决策树，下面我将使用天气数据集对此进行解释。
在此之前，我将解释一下相关的术语。
熵（Entropy）
在机器学习中，熵是对正在处理的信息中随机性的一种度量。熵越高，从该信息得出结论就越难。
信息增益（InformaTIonGain）
信息增益可以定义为随机变量或信号通过观察另一个随机变量所获得的信息量，其可以被视为父节点的熵与子节点的加权平均熵的差。
基尼不纯度（GiniImpurity）
基尼不纯度是一种度量方法，如果数据是根据子集中标签的分布被随机标记的，则基尼不纯度用来度量从集合中随机选择的数据被不正确标记的频率。
基尼不纯度的下界为0，如果数据集仅包含一个类别，那么基尼不纯度则为0。
有很多算法可以构建决策树。它们分别是：
1.CART（ClassificaTIonandRegressionTrees）：使用基尼不纯度作为度量标准；
2.ID3（IteraTIveDichotomiser3）：使用熵和信息增益作为度量标准。
本文将介绍ID3算法。一旦理解ID3后，就可以轻松地使用CART实现相同的功能。
使用ID3算法进行分类
下面，我们基于天气数据集来确定是否踢足球。
这里，自变量将决定因变量。其中，自变量是天气预报（outlook），温度（Temperature），湿度（Humidity）和风力（Wind），因变量是是否踢足球（Playedfootball（yes/no））。
第一步，我们必须为决策树找到父节点。为此，有以下步骤：
1.计算类别变量（即因变量）的熵。
E（S）=-［（9/14）log（9/14）+（5/14）log（5/14）］=0.94
注意：这里通常将对数的底数设置为2。这里共有14个“yes/no”。其中有9个是“y
es”，5个“no”。在此基础上，我们计算出了上面的概率。
从上面天气预报（outlook）的数据中，我们可以轻松得到下表：
2.现在我们需要计算加权平均熵，即我们已经计算出的每个特征的权重总和乘以概率。
E（S，outlook）=（5/14）*E（3，2）+（4/14）*E（4，0）+（5/14）*E（2，3）=（5/14）（-（3/5）log（3/5）-（2/5）log（2/5））+（4/14）（0）+（5/14）（（2/5）log（2/5）-（3/5）log（3/5））=0.693
下一步是计算信息增益，它是上面我们计算的父节点的熵与加权平均熵之间的差。
IG（S，outlook）=0.94-0.693=0.247
类似地，计算温度（Temperature）、湿度（Humidity）和风力（Wind）的信息增益。
IG（S，Temperature）=0.940-0.911=0.029
IG（S，Humidity）=0.940-0.788=0.152
IG（S，Windy）=0.940-0.8932=0.048
现在选择具有最大熵增益的特征。天气预报（outlook）特征是有最大熵增益的特征，因此它构成了决策树的第一个节点（根节点）。
现在我们的数据如下所示：
由于在天气预报（Outlook）特征为多云（overcast）时，因变量的结果仅仅有“Yes”这一种类别，因此我们可以将其设置为“Yes”。这意味着如果天气预报（outlook）特征为多云（overcast），我们就可以踢足球。现在我们的决策树如下所示。
接下来是在决策树中找到下一个节点。我们在晴天（sunny）下找一个节点。我们需确定在温度（Temperature）、湿度（Humidity）或风力（Wind）中谁有更高的信息增益。
计算父节点晴天（sunny）的熵E（sunny）：
E（sunny）=（-（3/5）log（3/5）-（2/5）log（2/5））=0.971
计算温度（Temperature）的信息增益IG（sunny，Temperature）：
E（sunny，Tempe
文档评论（0）