原创力文档- 1、本文档共35页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
神经网络
NeuralNetworks
第八章
神经网络集成
史忠植
中国科学院计算技术研究所
/
内容提要
•8.1概述
•8.2神经网络集成的基本原理
•8.3神经网络集成的方法
•8.4结论生成方法
•8.5个体生成方法
•8.6基于Bagging的聚类
•8.7神经网络集成系统的规则获取
•8.8神经专家系统
2014-04-15史忠植神经网路2
集成学习
1990年汉森(L.K.Hansen)和萨拉蒙(P.Salamon)提出
了神经网络集成(neuralnetworkensemble)方法。
他们证明，可以简单地通过训练多个神经网络并将其结
果进行拟合，显著地提高神经网络系统的泛化能力。神
经网络集成可以定义为用有限个神经网络对同一个问题
进行学习，集成在某输入示例下的输出由构成集成的各
神经网络在该示例下的输出共同决定。
2014-04-15史忠植神经网路3
集成学习
Boosting是一大类算法的总称，最早由沙皮尔(R.E.
Schapire)提出。1995年弗洛德(Y.Freund)对Schapire的算
法进行了改进，提高了算法的效率。但沙皮尔(R.E.
Schapire)和弗洛德(Y.Freund)的算法在解决实际问题时有
一个重大缺陷，即要求事先知道弱学习算法学习正确率的下
界，这在实际问题中很难做到。1997年，沙皮尔(R.E.
Schapire)和弗洛德(Y.Freund)提出了著名的
Adaboost(AdaptiveBoost)算法，该算法的效率与Freund
算法很接近，却可以非常容易地应用到实际问题中，因此，
该算法已成为目前最流行的Boosting算法。
2014-04-15史忠植神经网路4
集成学习
1996年，Breiman从文献可重复取样技术(Bootstrap
Sampling)入手，提出了著名的Bagging方法。在该方法中，
各学习器的训练集由从原始训练集中随机选取若干示例组成
，训练集的规模与原始训练集相当，训练例允许重复选取。
这样，原始训练集中某些示例可能在新的训练集中出现多次
，而另外一些示例则可能一次也不出现。在预测新的示例时
，所有学习器的结果通过投票的方式来决定新示例的最后预
测结果。
2014-04-15史忠植神经网路5
集成学习
集成学习（EnsembleLearning）是一种机器学习范式，它使
用多个（通常是同质的）学习器来解决同一个问题
集成学习中使用的多个学习器称为个体学习器
当个体学习器均为决策树时，称为“决策树集成”
当个体学习器均为神经网络时，称为“神经网络集成
”
…………
问题
问题
…...
…...
(引自周志华：选择性集成ppt)
文档评论（0）