- 1、本文档共180页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 5.6 其它学习问题 集成学习(Ensemble Learning)是使用一系列学习器进行学习,并使用某种规则把各个学习结果进行整合,从而获得比单个学习器更好的学习效果的一种机器学习方法。 理论依据:多个弱学习器通过一定的集成方法可以集成为一个强学习器 强学习算法: 准确率很高的学习算法 弱学习算法: 准确率不高,仅比随机猜测略好 5.6 其它学习问题 算法描述: 给出一个训练数据集D 产生多个假设空间,h1, h2, …, hL 可选项:决定每个对应的权重w1, w2, …, wL 分类预测新的数据,根据Σi wi×hi θ 关键问题: 如何产生不同分类器 h1,h2,… 如何集成各个分类器 f(h1(x),h2(x),…) 5.6 其它学习问题 BAGGING : Bootstrap?AGGregatING? (Breiman, 1996) Bagging算法是最早,也是最具有指导意义和实施最简单,而且效果惊人的好的集成学习算法。Bagging?算法的多样性是通过由有放回抽取训练样本来实现的,用这种方式随机产生多个训练数据的子集,在每一个训练集的子集上训练一个分类器,最终分类结果是由多个分类器的分类结果多数投票而产生的。 方法:产生N个训练集,然后训练N个基分类器,再对N个基分类器进行投票。适用于不稳定的学习过程,即数据集的一个小变动会产生大的差别,例如决策树、多层感知器。 5.6 其它学习问题 Boosting?算法通过顺序给训练集中的数据项重新加权创造不同的基础学习器。Boosting?算法的最终模型是一系列基础学习器的线性组合而且系数依赖于各个基础学习器的表现。虽然?Boosting?算法有很多的版本,但是使用目前最广泛的是?AdaBoost?算法。 方法:重复应用一个基学习器来修改训练数据集,这样在预定数量的迭代下可以产生一系列的基学习器。在训练开始,所有的数据项都被初始化为同一个权重,在这次初始化之后,每次增强的迭代都会生成一个适应加权之后的训练数据集的基础学习器。每一次迭代的错误率都会计算出来,而且正确划分的数据项的权重会被降低,然后错误划分的数据项权重将会增大。权重小的样本被再次抽到的概率降低。 5.6 其它学习问题 Representation Learning and Deep Learning Representation Learning: learning representations of the data that make it easier to extract useful information when building classi?ers or other predictors. From Yoshua Bengio ??Most critical for accuracy ?? Often hand-craft and labor-intensive ?? Most time-consuming in development cycle Such feature engineering highlights the weakness of current learning algorithms: their inability to extract the discriminative information from the data. From Kai Yu’ PPT 5.6 其它学习问题 Representation Learning and Deep Learning Representation Learning: learning representations of the data that make it easier to extract useful information when building classi?ers or other predictors. From Yoshua Bengio Representation Learning ! From Kai Yu’ PPT 5.6 其它学习问题 Representation Learning and Deep
您可能关注的文档
最近下载
- 住宅小区视频监控系统方案设计.ppt
- 药食同源及药膳配方食品通用要求.pdf VIP
- 淮阴工学院2021-2022学年第1学期《高等数学(上)》期末考试试卷(B卷)及标准答案.pdf
- 内审员内审程序和注意事项要点分析.ppt
- 2020-2021学年陕西省西安市经开区五年级(上)期末数学试卷.docx VIP
- 电厂锅炉原理及设备知识点.pdf VIP
- 新疆大学《大学语文》2020-2021学年第一学期期末考试试卷.pdf VIP
- 山东省滨州市滨城区2023-2024学年七年级上学期期末考试地理试卷(含答案).pdf VIP
- 影子(课件)综合实践活动二年级上册.pptx
- 经济法简答题及论述题.doc
文档评论(0)