AdaBoost简介及训练误差分析.docVIP

AdaBoost 主要内容： AdaBoost简介 训练误差分析 一、AdaBoost简介： 给定训练集：，其中，表示的正确的类别标签， 训练集上样本的初始分布： 对， 计算弱分类器，该弱分类器在分布上的误差为： 计算该弱分类器的权重： 更新训练样本的分布：，其中为归一化常数。 最后的强分类器为： 二、训练误差分析 记，由于弱分类器的错误率总是比随机猜测（随机猜测的分类器的错误率为0.5）低，所以，则训练误差为： 。 记，则。 证明： 1、对进行迭代展开 令 。 由于是一个分布， 所以： 所以。 训练误差为 * 。 所以，为训练误差的上界。 相当于损失函数取，则经验风险/测试误差为，使该经验风险最小的估计为。该风险称为指数风险。 在*式中， 当样本分对时，，所以，是一个较小的正数。 当样本分错时，，所以。 所以将变为，相当于对上述两种错误率都放大了，这样不等式成立。 证明； 问题：给定弱分类器的集合：，确定弱分类器及其权重。 具体实现时，首先选一个错误率最小的弱分类器，然后确定其权重，所以是一个贪心算法。（相当于对，前向逐步递增特征选择，后面再详细描述） ，因为 即为分类正确的样本的集合，为分类错误的样本的集合。 ，两边同乘以 正确率=，错误率=， 所以 所以。 当很小时，很大，即错误率很小的弱分类器的权重很大。 训练误差 令，由于弱分类器的错误率总是比随机猜测（随机猜测的分类器的错误率为0.5），所以， 所以 （不等式可利用在处Taylor展开得到） 令，满足即为所有中最小的一个。 则训练误差的上界为： 所以，当，即训练误差的上界随T的增加指数减小。 AdaBoost相当于最大贝叶斯后验 ， 当损失函数取时，则上述表达式为经验风险，当样本很多时，样本均值趋近于期望，即期望风险/测试误差为， ，表示的概率密度函数 （上一步怎么推导出这一步我开始看不懂） 我们目标是风险最小的，即 所以 所以 ， 为最大贝叶斯后验。 上面证明了收敛性，最后的强分类器收敛于最大后验概率。 AdaBoost相当于前向逐步递增加法建模 ， 可视为基展开，其中为基函数，为对应基函数的权重。对基展开，通常是给定基函数，一次联合求出所有的基函数中的参数及其权重（如用最小二乘法或极大似然估计方法）。 而AdaBoost为一个逐步递增的方式增加基函数，并计算其权重，不调整已添加的基函数中的参数及其权重。 假设第步的模型为： 当损失函数取时，则第T步新增加的基函数及其权重要使得训练误差/经验风险最小，即 ， ， 其中。因为每个不依赖于，所以可以看作是应用于每个观测的权值，该权值依赖于，所以，每个样本的权值随每次迭代改变。 上述问题可以分两步实现： 第一步：首先选一个错误率最小的弱分类器， 。 第二步：然后确定其权重 因为 将代入，即可得到 ， 其中表示错误率。 注：根据我的理解，