第07章 集成学习综述.pdf

集成学习综述 梁英毅 摘要 机器学习方法在生产、科研和生活中有着广泛应用，而集成学习则是机器学习的首要 热门方向[1]。集成学习是使用一系列学习器进行学习，并使用某种规则把各个学习结果进 行整合从而获得比单个学习器更好的学习效果的一种机器学习方法。本文对集成学习的概念 以及一些主要的集成学习方法进行简介，以便于进行进一步的研究。 一、 引言 机器学习是计算机科学中研究怎么让机器具有学习能力的分支，[2]把机器学习的目标 归纳为“给出关于如何进行学习的严格的、计算上具体的、合理的说明”。[3]指出四类问题 的解决对于人类来说是困难的甚至不可能的，从而说明机器学习的必要性。 目前，机器学习方法已经在科学研究、语音识别、人脸识别、手写识别、数据挖掘、医 疗诊断、游戏等等领域之中得到应用[1, 4]。随着机器学习方法的普及，机器学习方面的研 究也越来越热门，目前来说机器学习的研究主要分为四个大方向[1]： a) 通过集成学习方法提高学习精度； b) 扩大学习规模； c) 强化学习； d) 学习复杂的随机模型； 有关 Machine Learning 的进一步介绍请参考[5, 1,3, 4, 6]。 本文的目的是对集成学习的各种方法进行综述，以了解当前集成学习方面的进展和问 题。本文以下内容组织如下：第二节首先介绍集成学习；第三节对一些常见的集成学习方法 进行简单介绍；第四节给出一些关于集成学习的分析方法和分析结果。 二、 集成学习简介 1、 分类问题 分类问题属于概念学习的范畴。分类问题是集成学习的基本研究问题，简单来说就是把 一系列实例根据某种规则进行分类，这实际上是要寻找某个函数 ，使得对于一个 y f x ( ) x 给定的实例 ，找出正确的分类y 。机器学习中的解决思路是通过某种学习方法在假设空间 h h 中找出一个足够好的函数 来近似f ，这个近似函数 就叫做分类器[7]。 2、 什么是集成学习 传统的机器学习方法是在一个由各种可能的函数构成的空间（称为“假设空间”）中寻 找一个最接近实际分类函数f 的分类器h [6] 。单个分类器模型主要有决策树、人工神经网 络、朴素贝叶斯分类器[6]等等。集成学习的思路是在对新的实例进行分类的时候，把若干 个单个分类器集成起来，通过对多个分类器的分类结果进行某种组合来决定最终的分类[8， 9]，以取得比单个分类器更好的性能。如果把单个分类器比作一个决策者的话，集成学习的 方法就相当于多个决策者共同进行一项决策。图表 1表示了集成学习的基本思想。图表 1 中 的集成分类器包括了N个单一的人工神经网络分类器，对于同样的输入，N个人工神经网络 分别给出各自的输出（O O , ,O , L ），然后这些输出通过整合以后得到集成分类器整体的 1 2 n 输出结果作为最终分类。 图表 1 人工神经网络集成示意 在各种文献中集成学习（Ensemble Learning ）也被称为 committee 、classifier fusion 、 combination、aggregation 等等[9]，但是他们都是指把一系列的学习器集成起来共同解决一 个问题。 3、 为什么集成学习有效 Thomas G. Dietterich [8, 7]指出了集成学习有效可以归为三个方面的原因：统计上、计算 上和表示上： a) 统计上的原因 对于一般的学习任务，往往要搜索的假设空间十分巨大，但是能够用于训练分类器的训 练集中实例个数不足够用来精确地学习到目标假设，这个时候学习的结果便可能是一系列满 足训练集的假设，而学习算法之能够选择这些假设的其中之一作为学习到的分类器进行输 出。然而通过机器学习的过拟合问题[6]我们看到，能够满足训练集的假设不一定在实际应