机器学习课件-5.决策树和随机森林.pdfVIP

法律声明  本课件包括演示文稿、示例、代码、题库、视频和 声音等内容，小象学院和主讲老师拥有完全知识产 权的权利；只限于善意学习者在本课程使用，不得 在课程范围外向任何第三方散播。任何其他人或机 构不得盗版、复制、仿造其中的创意及内容，我们 保留一切通过法律手段追究违反者的权利。  课程详情请咨询  微信公众号：小象  新浪微博：ChinaHadoop 互联网新技术在线教育领航者 1/68 决策树和随机森林 邹博 目标任务与主要内容  复习信息熵  熵、联合熵、条件熵、互信息  决策树学习算法  信息增益  ID3 、C4.5 、CART  Bagging 与随机森林 互联网新技术在线教育领航者 3/68 CART  输入数据x ：M 个样本数据，每个数据包括 年龄、性别、职业、每日使用计算机时间等  输出y ：该样本是否喜欢计算机游戏 互联网新技术在线教育领航者 4/68 随机森林 互联网新技术在线教育领航者 5/68 决策树：Level 互联网新技术在线教育领航者 6/68 决策树 互联网新技术在线教育领航者 7/68 条件熵  H(X,Y) – H(X)  (X,Y)发生所包含的熵，减去X 单独发生包含的 熵：在X发生的前提下，Y发生“新”带来的熵  该式子定义为X发生前提下，Y 的熵：  条件熵H(Y|X) 互联网新技术在线教育领航者 8/68 推导条件熵的定义式 H (X , Y) H (X ) p (x , y ) log p (x , y ) p (x) log p (x) x ,y x     p (x , y ) log p (x , y )  p (x , y ) log p (x)   x ,y x  y  p (x , y ) log p (x , y ) p (x ,y ) log p (x) x ,y x ,y p (x , y ) p (x , y ) log x ,y p (x) p (x , y ) log p (y | x) x ,y 互联网新技术在线教育领航者 9/68 根据条件熵的定义式，可以得到 H (X , Y) H