数据挖掘2015课程完整(第10讲)---Bagging&Boosting要点解析.ppt

数据挖掘2015课程完整(第10讲)---Bagging&Boosting要点解析.ppt

  1. 1、本文档共33页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
age? student? credit rating? no yes fair excellent <=30 >30 … … k … 改变boosting投票权重(2) x1,x2,…,xn S bagging&boosting 应用前景 Internet上的文本过滤 图像数据库中的图像识别 手写体字符识别 语音识别 研究方向 Bagging和boosting非常相似,是否存在统一的理论框架. Boosting发生overfit的条件. Bagging & Boosting 提高分类法的准确率 Bagging Boosting 数据 C1 C2 Ct 组合得票 新数据 样本 类预测 ··· Bagging 基本思想: 给定一个弱学习算法,和一个训练集; 单个弱学习算法准确率不高; 将该学习算法使用多次,得出预测函数序列,进行投票; 最后结果准确率将得到提高. Bagging 算法: For t = 1, 2, …, T Do 从数据集S中取样(放回选样) 训练得到模型Ht 对未知样本X分类时,每个模型Ht都得出一个分类,得票最高的即为未知样本X的分类 也可通过得票的平均值用于连续值的预测 Bagging … C1 C2 CT train train train … x c1(x) c2(x) cT(x) C* c*(x) = maxcntt ct(x) S1 S2 ST Bagging Bagging要求“不稳定”的分类方法; 比如:决策树,神经网络算法 不稳定:数据集的小的变动能够使得分类结果的显著的变动。 “The vital element is the instability of the prediction method. If perturbing the learning set can cause significant changes in the predictor constructed, then bagging can improve accuracy.” (Breiman 1996) Boosting背景 来源于:PAC-Learning Model Valiant 1984 -11 提出问题: 强学习算法: 准确率很高的学习算法 弱学习算法: 准确率不高,仅比随机猜测略好 是否可以将弱学习算法提升为强学习算法 Boosting背景 最初的boosting算法 Schapire 1989 AdaBoost算法 Freund and Schapire 1995 Boosting 基本思想: 每个样本都赋予一个权重 T次迭代,每次迭代后,对分类错误的样本加大权重,使得下一次的迭代更加关注这些样本。 Boosting也要求“不稳定”的分类方法 Boosting 过程: 在一定的权重条件下训练数据,得出分类法Ct 根据Ct的错误率调整权重 Set of weighted instances Classifier Ct train classifier adjust weights Boosting AdaBoost AdaBoost.M1 AdaBoost.M2 … AdaBoost 输入:(X1,Y1), (X2,Y2),…(Xn,Yn) Xi∈X, Yi∈Y={+1,-1} 初始化:D1(i)=1/n For t=1,…,T 在Dt下训练, 得到弱的假设ht: X->{-1,+1}, 错误率:Εt=ΣDt(i) [ht(Xi)≠Yi] 选择αt=1/2 ln ( (1- Εt)/ Εt ), 更改权值: if ht(Xi)≠Yi , Dt+1(i)=Dt(i)* e αt /Zt if ht(Xi)=Yi , Dt+1(i)=Dt(i)* e -αt /Zt 输出:H(X)=sign( ∑ αtht(X) ) AdaBoost.M1 初始赋予每个样本相等的权重1/N ; For t = 1, 2, …, T Do 学习得到分类法Ct; 计算该分类法的错误率Et Et=所有被错误分类的样本的权重和; βt= Et/(1 - Et) 根据错误率更新样本的权重; 正确分类的样本: Wnew= Wold* βt 错误分类的样本: Wnew= Wold 调整使得权重和为1; 每个分类法Ct的投票价值为log [ 1 / βt ] Boosting … … x c1(x) c2(x) cT(x) C* c*(x) = argmaxcm Sct(x)

文档评论(0)

挺进公司 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档