集成学习boosting和bagging.pptVIP

Boosting and bagging算法 1 Boosting 算法 Boosting 算法是近十年最有效的算法之一，其主要代表算法有Adaboost算法和 AdaBoost算法改进等。（记单词） AdaBoost算法基本思想： 对同一个训练集使用不同的特征训练出不同的弱分类器 ， 然后将这些弱分类器组合起来 ， 提升为一个分类能力更强的强分类器 。 算法是通过数据分布的改变来实现的，根据每次弱分类器训练集中每个样本的分类正确与否，及上次总体分类的准确率，对每个样本的权值进行调整，降低弱分类器中分类正确的样本的权值，提高弱分类器分类错误的样本的权值。修改过权值的新数据表集作为下层分类器的训练集，经过多次迭代得到相应的弱分类器，对训练得到的这些弱分类器进行融合 ， 得到最终的强分类器 。 1.1 AdaBoost系列 应用AdaBoost系列主要解决了：两类问题、多类单标签问题、多类多标签问题、大类单标签问题，回归问题。它用全部的训练样本进行学习。 注：一般无特别说明，boosting都是指AdaBoost算法 The AdaBoost算法 AdaBoost 人脸检测 AdaBoost 应用于分类 弱分类器训练图示说明 弱分类器训练 图示说明 级联 AdaBoost 离散AdaBoost-AdaBoost.M1 AdaBoost.M1 和 AdaBoost.M2 是用来解决多分类单标签问题 AdaBoost.M1算法 Floatboost 算法 向前增加一个弱分类器之后，就需要向后回馈r。r的取值取决于当前分类性能的稳定性。这种弱分类器选择的方法相对于前向搜索来说具有更大的灵活性，因此，增加弱分类器组合的多样性，相比AdaBoost中的单调搜索有更优的解集合。 The AdaBoost算法 Bagging算法 Bagging 和 AdaBoost 区别 Bagging的训练集是随机的，各训练集是独的，而Boosting训练集的选择不是独立的，每一次选择的训练集都依赖于上一次学习的结果。 Bagging的每个预测函数(即弱假设)没有权重，而Boosting根据每一次训练的训练误差得到该次预测函数的权重。 Bagging的各个预测函数可以并行生成，而Boosting的只能顺序生成。对于像神经网络这样极为耗时的学习方法，Bagging可通过并行训练节省大量时间开销。 * 图像 正样本 =1 负样本=-1 Step 1: 训练集 Step 2: 初始化权值 For t = 1, … , T 1. 归一化权值, 2. 对于第j个特征,在给定权值条件下训练弱分类器 hj ，弱分类器的分类错误率为： 3. 更新权值: End 最终的强分类器： 原始图像 特征提取 Haar Basis Functions Haar Basis Functions Haar Basis Functions 特征计算 Ada Boost 训练 特征选择 大量的特征 小部分特征训练 级联结构 AdaBoost 学习算法 ? 用于特征选择 学习处理 特征集 训练集 +1 正样本 -1 负样本 各种各样的特征 人脸 非人脸 最终的强分类器 大约有180,000 个矩形特征 24 24 若分类器 1 若分类器 2 若分类器3 最终的强分类器 X (训练集) ex 脸部图像 非脸部图像 如果 fj(x) X 是脸部图像 False positive False negative 训练集 特征 每幅图像大约有180,000 个特征 误差 归一化权重 错误 正确 正确 错误 更新权值 AdaBoost 特征集 Feature Select Classifier 1 False AdaBoost 2 T False AdaBoost n T False 非人脸 100% Detection Rate 50% False Positive Step 1: 训练集 Step 2: 初始化权值 For t = 1, … , T 1. 归一化权值, 2. 对于第j个特征,在给定权值条件下训练若分类器 hj ，若分类器的分类错误率为： 3. 更新权值: End 最终的强分类器： 图像 正样本 =1 负样本=-1 Step 1: 训练集 Step 2: 初始化权值 For t = 1, … , T 1. 每个弱分类器h,在权值下进行训练，得到预测函数 ht . 2. 计算误判率，选取参数at：