第七章分类和预测-Read.pptVIP

dataset Boosting试验: 平均T=4.9时,训练准确率可以达到T=10时的训练准确率. 但T=4.9时,总的错误率却比T=10时的错误率高 改变boosting投票权重(1) AdaBoost.M1中的投票权重: log [ 1 / βt ] 替代: age? student? credit rating? no yes fair excellent =30 30 … … k … 改变boosting投票权重(2) x1,x2,…,xn S baggingboosting 应用前景 Internet上的文本过滤 图像数据库中的图像识别 手写体字符识别 语音识别 研究方向 Bagging和boosting非常相似,是否存在统一的理论框架. Boosting发生overfit的条件. Bagging Boosting 分类 决策树分类: ID3 C4.5 贝叶斯分类 后向传播分类 其它分类 分类法的准确性 评估分类法的准确率 保持（holdout） K-次交叉验证（k-fold cross validation） 提高分类法的准确率 bagging boosting 评估分类法的准确率 保持（holdout） 划分为两个独立的数据集： 通常:训练集 (2/3),测试集(1/3) 变形：随机子选样 数据 训练集 测试集 导出分类法 评估准确性 评估分类法的准确率 K-次交叉验证 将数据集分为k个子集； 用k-1个子集作训练集，1个子集作测试集，然后k次交叉验证； 数据 S1 S2 Sk ··· 训练集 测试集 提高分类法的准确率 Bagging Boosting 数据 C1 C2 Ct 组合得票 新数据 样本 类预测 ··· Bagging 基本思想: 给定一个弱学习算法,和一个训练集; 单个弱学习算法准确率不高; 将该学习算法使用多次,得出预测函数序列,进行投票; 最后结果准确率将得到提高. Bagging 算法: For t = 1, 2, …, T Do 从数据集S中取样（放回选样） 训练得到模型Ht 对未知样本X分类时,每个模型Ht都得出一个分类，得票最高的即为未知样本X的分类 也可通过得票的平均值用于连续值的预测 Bagging … C1 C2 CT train train train … x c1(x) c2(x) cT(x) C* c*(x) = maxcntt ct(x) S1 S2 ST Bagging Bagging要求“不稳定”的分类方法； 比如：决策树，神经网络算法 不稳定：数据集的小的变动能够使得分类结果的显著的变动。 “The vital element is the instability of the prediction method. If perturbing the learning set can cause significant changes in the predictor constructed, then bagging can improve accuracy.” (Breiman 1996) Boosting背景 来源于:PAC-Learning Model Valiant 1984 -11 提出问题: 强学习算法: 准确率很高的学习算法 弱学习算法: 准确率不高,仅比随机猜测略好 是否可以将弱学习算法提升为强学习算法 Boosting背景 最初的boosting算法 Schapire 1989 AdaBoost算法 Freund and Schapire 1995 Boosting 基本思想： 每个样本都赋予一个权重 T次迭代，每次迭代后，对分类错误的样本加大权重，使得下一次的迭代更加关注这些样本。 Boosting也要求“不稳定”的分类方法 Boosting 过程: 在一定的权重条件下训练数据，得出分类法Ct 根据Ct的错误率调整权重 Set of weighted instances Classifier Ct train classifier adjust weights Boosting AdaBoost AdaBoost.M1 AdaBoost.M2 … AdaBoost 输入:(X1,Y1), (X2,Y2),…(Xn,Yn) Xi∈X, Yi∈Y={+1,-1} 初始化:D1(i)=1/n For t=1,…,T 在Dt下训练, 得到弱的假设ht: X-{-1,+1}, 错误率:Εt=ΣDt(i) [ht(Xi)≠Yi] 选