(6.2)--6.2 提升法boosting机器学习与模式识别.pptVIP

  • 3
  • 0
  • 约小于1千字
  • 约 9页
  • 2024-02-28 发布于陕西
  • 举报

(6.2)--6.2 提升法boosting机器学习与模式识别.ppt

Boosting提升法

CHAPTERONEBoosting策略BoostingStrategy

一、Boosting策略串行逐个增加个体学习器,逐步提升集成学习系统的性能概念解释训练集数据集1学习器1集成学习器………………数据集T学习器T数据集2学习器2

一、Boosting策略总体策略:提升的思路串行训练个体学习器新增加的个体学习器重点关注错分的样本设计方向:提升基学习器的泛化性能增强基学习器的多样性算法思路:前向分步优化:逐个增加个体学习器,分解简化优化问题重赋权(Reweighting):在学习目标中增加错分样本的权重

一、Boosting策略集成分类器:原始优化问题优化目标:挑战:可能存在多个局部最优解,解的鲁棒性难以保障参数数量多,梯度形式复杂,通常没有封闭解梯度下降法收敛速度难以保障基分类器的泛化性能和“好而不同”的设计目标难以保障??

一、Boosting策略拆分??(??),每一步优化只新增一个基学习器:前向分步优化在新增基学习器的训练过程中:??分步优化目标:?优点:△待优化变量明显减少△多局部极值问题得到抑制缺点:▽无法保证解的全局最优性

一、Boosting策略常见的Boosting算法Adaboost指数损失函数重赋权技术基学习器:决策树or多层感知器GBDT(GradientBoostingDecisionTree)均方误差损失

文档评论(0)

1亿VIP精品文档

相关文档