精细版选择性集成.pptVIP

选择性集成 (Selective Ensemble) 周志华 /people/zhouzh/ Email: zhouzh@ 南京大学计算机软件新技术国家重点实验室 泛化：generalization 泛化能力越强，处理新数据的能力越好 泛化能力是机器学习关注的基本问题之一 提高泛化能力是永远的追求 泛化能力 集成学习（Ensemble Learning）是一种机器学习范式，它使用多个（通常是同质的）学习器来解决同一个问题 集成学习 问题 … ... … ... 问题 集成学习中使用的多个学习器称为个体学习器 当个体学习器均为决策树时，称为“决策树集成” 当个体学习器均为神经网络时，称为“神经网络集成” …… …… 由于集成学习技术可以有效地提高学习系统的泛化能力，因此它成为国际机器学习界的研究热点，并被国际权威 T.G. Dietterich 称为当前机器学习四大研究方向之首[T.G. Dietterich, AIMag97] 集成学习的重要性 问题：对20维超立方体空间中的区域分类 左图中纵轴为错误率 从上到下的四条线分别表示： 平均神经网络错误率 最好神经网络错误率 两种神经网络集成的错误率 令人惊奇的是，集成的错误率比最好的个体还低 [L.K. Hansen P. Salamon, TPAMI90] 集成学习的用处 集成学习技术已经在行星探测、地震波分析、Web