机器学习课件-7.提升.pdfVIP

法律声明  本课件包括演示文稿、示例、代码、题库、视频和 声音等内容，小象学院和主讲老师拥有完全知识产 权的权利；只限于善意学习者在本课程使用，不得 在课程范围外向任何第三方散播。任何其他人或机 构不得盗版、复制、仿造其中的创意及内容，我们 保留一切通过法律手段追究违反者的权利。  课程详情请咨询  微信公众号：小象  新浪微博：ChinaHadoop 互联网新技术在线教育领航者 1/74 提升 邹博 主要内容  分析随机森林的特点  由弱分类器得到强分类器  样本加权、分类器加权  Adaboost 算法  算法描述  前向分步算法+ 指数损失函数  由Adaboost/GBDT 改造随机森林 互联网新技术在线教育领航者 3/74 由决策树和随机森林的关系的思考  随机森林的决策树分别采样建立，相对独立。  思考：  假定当前一定得到了m-1颗决策树，是否可以通 过现有样本和决策树的信息，对第m颗决策树的 建立产生有益的影响呢？  各个决策树组成随机森林后，最后的投票过程 可否在建立决策树时即确定呢？ 互联网新技术在线教育领航者 4/74 样本加权 互联网新技术在线教育领航者 5/74 提升的概念  提升是一个机器学习技术，可以用于回归和分类问 题，它每一步产生一个弱预测模型(如决策树) ，并 加权累加到总模型中；如果每一步的弱预测模型生 成都是依据损失函数的梯度方向，则称之为梯度提 升(Gradient boosting) 。  梯度提升算法首先给定一个目标损失函数，它的定 义域是所有可行的弱函数集合(基函数) ；提升算法 通过迭代的选择一个负梯度方向上的基函数来逐渐 逼近局部极小值。这种在函数域的梯度提升观点对 机器学习的很多领域有深刻影响。  提升的理论意义：如果一个问题存在弱分类器，则 可以通过提升的办法得到强分类器。 互联网新技术在线教育领航者 6/74 提升算法  给定输入向量x 和输出变量y 组成的若干训练样本  ˆ   F x (x ,y ),(x ,y ),…,(x ,y ) ，目标是找到近似函数 ， 1 1 2 2 n n 使得损失函数L(y,F(x)) 的损失值最小  1  2        L(y,F(x)) 的典型定义为 L y ,F x y F x 2     