选择性集成（SelectiveEnsemble）.ppt

选择性集成 (Selective Ensemble) 周志华 /people/zhouzh/ Email: zhouzh@ 南京大学计算机软件新技术国家重点实验室 泛化：generalization 泛化能力越强，处理新数据的能力越好 泛化能力是机器学习关注的基本问题之一 提高泛化能力是永远的追求 泛化能力 集成学习（Ensemble Learning）是一种机器学习范式，它使用多个（通常是同质的）学习器来解决同一个问题 集成学习 问题 … ... … ... 问题 集成学习中使用的多个学习器称为个体学习器 当个体学习器均为决策树时，称为“决策树集成” 当个体学习器均为神经网络时，称为“神经网络集成” …… …… 由于集成学习技术可以有效地提高学习系统的泛化能力，因此它成为国际机器学习界的研究热点，并被国际权威 T.G. Dietterich 称为当前机器学习四大研究方向之首[T.G. Dietterich, AIMag97] 集成学习的重要性 问题：对20维超立方体空间中的区域分类 左图中纵轴为错误率 从上到下的四条线分别表示： 平均神经网络错误率 最好神经网络错误率 两种神经网络集成的错误率 令人惊奇的是，集成的错误率比最好的个体还低 [L.K. Hansen & P. Salamon, TPAMI90] 集成学习的用处 集成学习技术已经在行星探测、地震波分析、Web信息过滤、生物特征识别、计算机辅助医疗诊断等众多领域得到了广泛的应用 只要能用到机器学习的地方，就能用到集成学习 期望结果 个体1 (精度33.3%) 个体2 (精度33.3%) 个体3 (精度33.3%) 集成(精度33.3%) 投票 个体必须有差异 期望结果 个体1 (精度33.3%) 个体2 (精度33.3%) 个体3 (精度33.3%) 集成 (精度0%) 投票 个体精度不能太低 个体学习器越精确、差异越大，集成越好 [A. Krogh & J. Vedelsby, NIPS94] 如何构建好的集成 既然多个个体的集成比单个个体更好，那么是不是个体越多越好? 更多的个体意味着： 在预测时需要更大的计算开销，因为要计算更多的个体预测 更大的存储开销，因为有更多的个体需要保存 个体的增加将使得个体间的差异越来越难以获得 个体越多越好吗？ Many Could be Better Than All：在有一组个体学习器可用时，从中选择一部分进行集成，可能比用所有个体学习器进行集成更好 [Z.-H. Zhou et al., AIJ02] 从一组个体学习器中排除出去的个体（k）应满足： 分类 选择性集成 回归 遗憾的是，上述公式在解决实际问题时难以直接使用 … ... w1 w2 … ... wn 利用遗传算法进化 … ... 遗传算法选择 随机生成若干权向量，权向量的每个分量对应了一个个体学习器，这些权向量被遗传算法进化，得到一个最优权向量，它表示了各个体学习器在构成集成时的“重要性”，据此进行个体的选择 假设 w2 < 1/n 分类：有排除的投票 回归：有排除的平均 为了证明选择性集成学习的可操作性，我们提出了GASEN算法 w11 w12 … ... w1n w21 w22 … ... w2n wm1 wm2 … ... wmn 随机生成一个权向量群体 … ... … ... … ... … ... [Z.-H. Zhou et al., AIJ02] GASEN（基于遗传算法的选择性集成学习算法） 与著名的集成学习算法Bagging和Boosting相比，GASEN 获得了更高的(或相当的) 精度，而且使用的个体学习器少得多 (回归：19% (3.71/20)；分类：36% (7.10/20.0)) [Z.-H. Zhou et al., AIJ02] 实验结果 给定学习目标和训练集规模， bias 度量了学习算法的平均估计结果与目标的接近程度 variance 度量了在同样规模的不同训练集上，学习算法的估计结果的扰动程度 以往研究表明，Bagging主要减小variance，而Boosting主要减小bias [E. Bauer & R. Kohavi, MLJ99; L. Breiman, TechRep96] 我们采用的分解机制为 [R. Kohavi & W.H. Wolpert, ICML96] Bias-Variance分解 在回归任务中，GASEN在减小bias和variance方面都优于Bagging和Boosting