logo

您所在位置网站首页 > 海量文档  > 计算机 > 数据结构与算法

统计学提升方法概论.pdf 58页

本文档一共被下载: ,您可全文免费在线阅读后下载本文档。

  • 支付并下载
  • 收藏该文档
  • 百度一下本文档
  • 修改文档简介
全屏预览

下载提示

1.本站不保证该用户上传的文档完整性,不预览、不比对内容而直接下载产生的反悔问题本站不予受理。
2.该文档所得收入(下载+内容+预览三)归上传者、原创者。
3.登录后可充值,立即自动返金币,充值渠道很便利
特别说明: 下载前务必先预览,自己验证一下是不是你要下载的文档。
  • 上传作者 小茗(下载加QQ:506618349)(上传创作收益人)
  • 发布时间:2019-04-26
  • 需要金币6(10金币=人民币1元)
  • 浏览人气
  • 下载次数
  • 收藏次数
  • 文件大小:2.14 MB
下载过该文档的会员
统计学提升方法概论
你可能关注的文档:
目录 1. 提升方法AdaBoost算法 2. AdaBoost算法的训练误差分析 3. AdaBoost算法的解释 4. 提升树 一、提升方法AdaBoost算法 AdaBoost 的起源 怎样实现弱学习转为强学习 Bagging 怎样组合弱分类器 AdaBoost 的提出 AdaBoost 的基本概念 提升方法的基本思路 1984,Kearns和Valiant: 强可学习(strongly learnable)和弱可学习(weakly learnable) 在概率近似正确 (probably approximately correct, PAC)学习的框 架中,一个概念 (类),如果存在一个多项式的学习算法能够学习 它,并且正确率很高,称这个概念是强可学习的; 一个概念 (类),如果存在一个多项式的学习算法能够学习它,学 习的正确率仅比随机猜测略好,则称这个概念是弱可学习的。 1989, Schapire,证明: 在PAC学习的框架下,一个概念是强可学习的充分必要条件是这个 概念是弱可学习。 提升方法的基本思路 问题的提出: 只要找到一个比随机猜测略好的弱学习算法就可以 直接将其提升为强学习算法,而不必直接去找很难 获得的强学习算法。 提升方法的基本思路 怎样实现弱学习转为强学习? 例如:学习算法A在a情况下失效,学习算法 B在b情况下失效,那么在a情况下可以用B算 法,在b情况下可以用A算法解决。这说明通 过某种合适的方式把各种算法组合起来,可 以提高准确率。 为实现弱学习互补,面临两个问题: (1 )怎样获得不同的弱分类器? (2 )怎样组合弱分类器? 提升方法的基本思路 u怎样获得不同的弱分类器? u使用不同的弱学习算法得到不同基本学习器 u 参数估计、非参数估计… u使用相同的弱学习算法,但用不同的参数 uK-Mean不同的K,神经网络不同的隐含层… u相同输入对象的不同表示凸显事物不同的特征 u使用不同的训练集 装袋 (bagging ) 提升 (boosting ) 提升方法的基本思路 Bagging ,也称为自举汇聚法(boostrap aggregating) 从原始数据集选择S次后得到S个新数据集 新数据集和原数据集的大小相等 每个数据集都是通过在原始数据集中随机选择样本来进 行替换而得到的。 S个数据集建好之后,将某个学习算法分别作用于每个数 据集就得到S个分类器。 选择分类器投票结果中最多的类别作为最后的分类结果。 改进的Bagging算法,如随机森林等。 提升方法的基本思路 u怎样组合弱分类器? u多专家组合 一种并行结构,所有的弱分类器都给出各自的预测 结果,通过 “组合器”把这些预测结果转换为最终 结果。 eg.投票 (voting )及其变种、混合专家模型 u多级组合 一种串行结构,其中下一个分类器只在前一个分类 器预测不够准 (不够自信)的实例上进行训练或检 测。 eg. 级联算法 (cascading ) AdaBoost算法 1990年,Schapire最先构造出一种多项式级的算法, 即最初的Boost算法; 1993年,Drunker和Schapire第一次将神经网络作为 弱学习器,应用Boosting算法解决OCR 问题; 1995年,Freund和Schapire提出了 Adaboost(Adaptive Boosting)算法,效率和原来 Boosting算法一样,但是不需要任何关于弱学习器性 能的先验知识,可以非常容易地应用到实际问题中。 AdaBoost算法 AdaBoost Adaptive Boosting A learning algorithm Building a strong classifier a lot of weaker ones AdaBoost算

发表评论

请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
用户名: 验证码: 点击我更换图片

“原创力文档”前称为“文档投稿赚钱网”,本站为“文档C2C交易模式”,即用户上传的文档直接卖给(下载)用户,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有【成交的100%(原创)】。原创力文档是网络服务平台方,若您的权利被侵害,侵权客服QQ:3005833200 电话:19940600175 欢迎举报,上传者QQ群:784321556